Ciekawostka
Wykres przedstawia ilość raperów w Polsce na przestrzeni lat. Jak widzimy przyrost raperów w Polsce jest wykładniczy. W całej historii rapu w Polsce pomimo postępującego niżu demograficznego każdego roku pojawiało się zdecydowanie więcej raperów niż w roku poprzednim. Wyjątek stanowi jedynie przełom lat 2000/2001 gdzie po Nowym Roku w Polsce było o jednego rapera mniej niż w roku mijającym.
Projekcje zakładają, że przy tak postępującym przyroście raperów w kraju do roku
źródło: comment_1672566296Tof94NEIyX78ilvUBIlFAx.jpg
#anonimowemirkowyznania
Cześć wykopki :)
Mam pytanie a propos #pracait w obszarze #datascience. Studiuję IiE i jestem na przedostatnim semestrze magisterki obecnie. W lipcu odbyłem 2-miesięczny staż w obszarze uczenia maszynowego. Pół roku temu - wtedy kiedy jeszcze szukałem stażu - napisałem do fajnego software house'a z zapytaniem o odbycie stażu; dali mi od razu stanowisko juniora bez większej weryfikacji. Precyzując: odbyłem 2-miesięczny staż w pewnym miejscu ( w którym nie mogłem
Pracuje w branży data science od 1.5 roku. Wydaje mi się, że nauczyłem się dość sporo. Natomiast zarobki, które oferuje moja mała firma są na poziomie lekko poniżej średniej krajowej. Wydaje mi się, że to troche zdecydowanie za mało i moje umiejętności warte są więcej. Stąd pytanie do Was mirki z #programista15k #programowanie :

Przy Waszej pierwszej robocie w IT, ile zarabialiście po 1.5 roku pracy?

#datascience
Cześć, mam przypadek w pracy, że opracowaliśmy model importu/exportu danych pewnego dobra (poprzez transport morski). Dane historyczne vs model fitują na zasadzie, że jak obierzesz pewien scaling factor (nasze dane pomnożyć przez 0.95) to praktycznie się nakłada model i historia. Mniej więcej obrazuje na obrazku o co mi chodzi. Powiedzmy, że model ma 3 lata danych, dla każdego roku inny ten factor wychodzi. Jest jakaś metoda w data science/ekonometrii, która pomoże to
źródło: comment_1669928425mRJpVULegT6zubycQMiN7G.jpg
@kkrzysiek13: Trudno odpowiedzieć bez większej ilości szczegółów. Czy mógłbyś dokładniej opisać problem?
Co to za model, regresja? To jest forecast na przyszłe lata? Jaka jest zmienna objaśniana? Jaki jest jej typ (ciągła, binarna)? Co to znaczy, że model 'ma trzy lata danych"? Że model był budowany na danych z trzech lat, czy backtesting był na trzech latach? Itd. Korelacja nie nadaje się do testowania modelu lepsze będzie Gini albo KS. Z
@miszczu90: @Miszka_Fisznan: To nie jest model statystyczny. To jest cały framework oparty na ruchu statków i portach całego świata. Udało nam się kiedyś już zrobić analogiczny dla rud żelaza. I tam było tak samo, był scaling factor i time series nasze i branży (są wyspecjalizowane agencje, które takie coś raportują lub firmy) praktycznie się nakładał. To jest przewaga w mojej firmie, ze analizujemy to live a raporty branży wychodzą kwartalnie.
Może się zainteresujecie moim ostatnim side-projektem, zebrałem pół roku aktywności głównej strony (1 sty 2022 do 1 lip 2022, wojne Ukraińską widać pięknie) wykopu (najpopularniejsze znaleziska + głosowania) i zrobiłem na nich trochę analiz:

- część 1 ogólna
- część 2 o wzorze na gorące
- część 3 o botach i grupach głosujących antagonistów

Wyszły mi mniej lub bardziej ciekawe rzeczy :). Głównie patrzyłem na aktywność botów, zorganizowane grupy wykopujące/zakopujące i takie
@swann: najbardziej przemawia do mnie argument, że #4konserwy z tagu #bekazlewactwa nie umieją w #heheszki w przeciwieństwie do #neuropa ( ͡° ͜ʖ ͡°)

A tak swoją drogą dziwny dobór tagów, bo większość z wybranych wydaje się zapychaczami wrzucanymi przez spamujących znaleziskami. Tak samo próby ujmowania tutaj jakichś grup w podziale politycznym przy wzięciu pod uwagę właściwie wyłącznie jednego tagu #neurpa przy pominięciu dwóch innych jak #4konserwy i
@mojemirabelki: przyjalem metodologie zbierania informacji o najbardziej popularnych tagach... nie wiem jak zdefiniowac spam ale to tez aktywnosc, ktora chcialem sprawdzic. W 40 najbardziej aktywnych tagach pojawily sie #neuropa, #bekazpisu i inne polityczne ale #4konserwy nie wpadly do tej grupy. Niezaleznie od tego, troche ciekawila mnie aktywnosc tagu #neuropa i zaobserwalaem jakies anomalie z nim zwiazane (np. ilosc niepromowanych linkow, ktore spelniaja "wzor na gorace") ale to wymaga wiecej pracy.
Wiecie, tak sobie pomyślałem dzisiaj odnośnie aktualnego stanu wizji organizacji Meta i aktualnego stanu akcji za $99.
Ściana tekstu, nie komentuj głupio.

Najpierw wszyscy komunikowali się ze sobą face to face aby przekazać informację, do czasu wynalezienia przekazów pisemnych.
Potem była poczta czy to konna czy pojazdowa.
Potem wszyscy mieli telefon, dzwoniło się do domostw - i prosiło aby z kimś rozmawiać.
Następne były telefony mobilne które jeszcze nie były takie jak
@interpenetrate:

wykazałem że kierunek jest jednogłośnie poprawny.


Nic nie wykazałeś bo opierasz się na jednym z gruntu błędnym założeniu - że rozwój technologii jest liniowy. Skoro po A nastąpiło B to teraz ekstrapolując nastąpi C. Tak to opisałeś. A to błąd.

Po A było naraz warianty B1, B2, B3 i B4. Rynek i historia wybrała B1. To nie była liniowość tylko jedna z alternatyw. Z abstrakcji do konkretów - VHS wygrało
#anonimowemirkowyznania
W tym roku stracilem 3 bliskie mi osoby i zebralo mi się na przemyślenia ile czasu tracimy na obowiązki a jak mało na przyjemności. Tuz przed wojna stracilem babcie która chyba cale swoje zycie spedzila przyjemnie. Pamietala czasy drugiej wojny swiatowej jak musiala sie przed ruskimi ukrywac i na szczescie nie dozyla tego momentu gdzie rosja ponownie jest agresorem. W większości spedzila czas na przyjemnościach, telewizji, ogródku, znajomych. Była na rencie
#naukaprogramowania #python #datascience #machinelearning

Rozpoczynam kurs data science dla juniorów. Za darmochę. Jedyne wymagania to ankieta na wejście i ankieta z informacją zwrotną po.

Wybrane osoby otrzymają link do Githuba, Discorda i Slacka.

Co trzeba zrobić?

1. Wysłać pw z mailem
2. Wypełnić przesłaną ankietę
3. Czekać

Kurs składa się z serii ćwiczeń dokumentowanych na GH i projektu na zaliczenie.
Czas: 8 tygodni
Konsultacje / Q&A: każda sobota 10:00
Max ilość uczestników:
#anonimowemirkowyznania
Czy #programowanie jest ogólnie trudne? Warto zaczynać przed 30-stką?

W internetach są niestety skrajne opinie na ten temat i jedni mówią TAK - "to dla każdego i polecamy nasz bootcamp", inni NIE – "prawdziwy programista robi to od 6 roku życia". To wszystko na pierwszy rzut oka brzmi też dla osoby spoza IT jak czarna magia – nazwy technologii, funkcji, gdy ktoś opowiada o jakimś projekcie, itd. Dlaczego chciałbym zacząć?
1)
źródło: comment_16618042821EZBpbWBXeWin2OiPlD1yh.jpg
@blacktyg3r: w ogóle cała koncepcja, czy warto coś robić mając >30 jest absurdalna jakby średnia życia to było 35 lat. Czy jest cokolwiek na tym świecie co opłacałoby się robić mając 20 lat, a po 30 by przestawało być warto? Co najwyżej rodzenie dzieci u kobiet po >40 może być kontrowersyjne, ale sytuacja pod względem uczenia się nowych umiejętności 30 latka jest podobna do 20 latka. Ludzie tworzą sobie tylko jakąś
Stworzyłem narzędzie do wizualizacji danych. Nazywa się NeatChart i działa na Windowsie. Jest zbudowane na silniku Unreal Engine 5 dzięki czemu umożliwia przeniesienie grafiki z gier wideo do wizualizacji danych. NeatChart tworzy wykresy słupkowe na podstawie danych CSV. Eksportuje je jako obrazki PNG. Na stronie można pobrać demo. Program jest w earlu access i będzie rozwijane w oparciu o sugestie społeczności. Jeśli pracujesz z danymi zapraszam do współpracy :)

https://neatchart.io/

#datascience #
źródło: comment_1660596066R7ekFTjxXKV8K8LkoycKD4.gif
Jakiś czas temu żaliłem się tutaj na rekrutacje. Po burzy nastąpiło słońce i udało mi się złapać 3 oferty w 3 dni ( ͡° ͜ʖ ͡°) Jestem tym dość przytłoczony, pierwszy raz jestem w takiej sytuacji, że mam kilka ofert na stole i będę musiał komuś odmówić. Chcę tym razem podjąć w pełni rozważną decyzję, a że Wykop dotychczas mnie mimo wszystko nie zawodził, to doradzę się was

Co wybrać?

  • Firma 1 36.8% (25)
  • Firma 2 32.4% (22)
  • Firma 3 20.6% (14)
  • Firma X 10.3% (7)

Oddanych głosów: 68

@ElMatadore: siedzenie na benchu to wielkie ryzyko, chyba ze cieszysz się jak dostajesz hajs za siedzenie, ale jeśli czujesz potrzebę rozwoju to oszalejesz. Potem na sile Cię wrzuca na jakiś gownoprojekt, w temacie którym nie chcesz się rozwijać i stracisz pół roku, a w między czasie nie będziesz miał nawet co powiedzieć co robiłeś w tej firmie na innych rozmowach.

Gotowy projekt, który jest dla Ciebie interesujący to zawsze dobre wyjście.
Hej Mirki, znowu mirkopostem chcę przyciągnąć trochę uwagi do znaleziska. Napisałam moim zdaniem całkiem ciekawy artykuł o przetwarzaniu danych z kosmosu na podstawie kosmicznego obserwatorium Gaia, które tworzy najbardziej szczegółową mapę Drogi Mlecznej i jest wyłączym projektem Europejskiej Agencji Kosmicznej. Bedzie mi miło jak rzucicie okiem!
https://www.wykop.pl/link/6764231/kosmiczne-dane-misja-gaja-i-wielka-mapa-drogi-mlecznej/

#kosmos #astronomia #datascience #eksploracjakomosu #gruparatowaniapoziomu
źródło: comment_1659547915TqSPvFHJCF1xTgDSrjSZXG.jpg
Staram się rekrutować z juniora na mida i na razie idzie mi słabo. Czy ja mam jakiegoś pecha, czy po prostu jestem jeszcze zbyt słaby? To o czym piszę o rekrutacjach poniżej to normalka? (Nie odbyłem jakoś dużo technicznych w mojej karierze)
Aplikuję na stanowisko data engineera, czyli generalnie bazki danych, SQL i Python. Problem jaki obserwuję jest taki, że każda firma ma swoją definicję stanowiska, w które mierzę, jedne szukają tego
@ElMatadore: Brzmisz jakbyś liznął trochę relacyjnych baz danych, SQL i pythona. Jak to ma pozwolić ci być midem? Nikt cie nie będzie pytał o internale cassandry, mongo, czy jakiejkolwiek bazy relacyjnej. Po prostu poziom twojej wiedzy jest niski jeżeli to jedyne co potrafisz. Nie ogarniasz zadanek leetcodowych, znasz jakieś proste rzeczy typu SQL, czy CAP. No i do tego Python, który notabene jest naprawdę prostym językiem programowania. Masz dwie opcje, albo
z ciekawości, pracuje ktoś w PL na UOP i jednocześnie w pełni zdalnie dla zagranicznej firmy na jakąś cząstkę etatu w #analizadanych?
- jak znaleźliście te druga prace? ogłoszenie w internecie?
- ile lat doświadczenia mieliście przy aplikowaniu?
- nie ma problemów z rozliczeniem takich dochodów?
- skąd firma, jakie zarobki?
- jakie odczucia?

tagi dla zasięgu
#datascience #sql #powerbi #excel #vba
Dodaję mirkowpis bo znalezisko nie dostało należytej uwagi, a mam do polecenia fantastyczny link dla wszystkich z #naukaprogramowania #machinelearning. Na https://today.bnomial.com/ codziennie publikowane jest jedno pytanie/historyjka w temacie sztucznej inteligencji/data science i jest to doskonałe uzupełnienie kursów o realne przypadki kiedy z modelem jest coś nie tak - z czego to może wynikać i jak spróbować to naprawić.

#programowanie #datascience #sztucznainteligencja
źródło: comment_16573896439cWMCG3lzH4GWsSRp0Lo08.jpg
@Tasartico7: Żartujesz? Matematyki tylko trochę więcej niż na backendzie?
To jest jakaś opinia urwana z choinki.
W DS każdy algorytm oparty jest na matmie. Żeby zrozumieć najprostsze lasso już trzeba co nieco się orientować w matematycznych znaczkach. Już nie mówie o algorytmach pokroju sieci neuronowe czy transformery.

U mnie w firmie głownie przyjmują do działy analyst matematyków i później uczą ich programowania. Sam kończyłem bardziej informatyczny kierunek i teraz moją największą
Daily reminder, że musicie być w rejestrze, żeby superkomputery z zaawansowanymi algorytmami analizowały wszystko co robicie. Nakierowywać na taki sam tok myślenia żeby być bardziej przewidywalnym, żeby profilować pod was reklamy, opierające się na psychice ludzkiej, waszych potrzebach akceptacji i instynktach. Które są tworzone przez ludzi którzy nawet by tego pewnie nie robili, gdyby nie było to trochę lepiej płatne, bo zostali zaprogramowani od wczesnych lat żeby to robić. I tak się
Udało mi się wreszcie lepiej zrozumieć jak efektywnie uczyć sieci typu GAN do generowania obrazów, więc postanowiłem podzielić się spostrzeżeniami i może oszczędzić komuś sporo czasu. Jak wiadomo ta architektura jest prawdopodobnie najtrudniejsza do debugowania a proces uczenia długi - no ale właśnie niekoniecznie. Jak się okazuje jednoczasowa propagacja wsteczna dla generatora i obu lossów dyskryminatora jest bardzo nieskuteczna. Lepiej rozbić to uczenie na 3 niezależne części - no ale wtedy czas
źródło: comment_1655938289GU2WRP43WYMF7A3scu6EUP.jpg
@Bejro: Nie byłem konkretny. Chodziło mi o WGAN-GP (tutaj nie clipujemy wag tylko mamy penalty na gradiencie, przez co zachowany jest warunek 1-Lipschitzowosci) który ma znacznie stabilniejszy proces uczenia od tego standardowego lossu który przytaczas. W praktyce tez nie stosuje sie częstszego treningu krytyka od generatora. Idea WGAN jest to, ze ta funkcja kosztu ma bardziej informacyjne gradienty przez co generator nawet jak się bardzo myli to może się poprawić (niemożliwe
@ejsap_kupno: Hinge loss jest bardzo podobny do crossentropy z logitów więc to takie cofnięcie się do czegoś co działało od funkcji W. Generalnie WGAN-GP wciąż robi to samo co WGAN ale w inny (lepszy) sposób. Jeśli używamy dyskryminatora z dużym dropoutem na tym samym wygenerowanym batchu to wirtualnie próbkujemy większy rozkład i zwiększamy generalizację - a to coś innego niż zapobieganie zanikaniu gradientów w WGANach.
Jak jest z podyplomówką z #datascience na #politechnikabialostocka? Siedzę teraz jako embeddedowiec python/c, w wolnym czasie sobie jakieś pomniejsze tematy z machine learningu klepałem (klasyfikator zdjęć, jakieś #!$%@? generatory tytułów picrel) i chciałbym pójść dalej w tym kierunku. Niestety domowe metody na mnie nie działają, ma być pruską gdzie łożę hajs i z batem nad głową ktoś mnie uczy - do przepalenia kasa na czesne w sumie jest. Pytanie czy w
źródło: comment_16557464180FogK7UHIrpBhyefnf04y9.jpg
@Nxtp: ja kończyłem w tamtym roku. Jeśli nic się nie zmieniło, to studia są raczej skrojone pod osoby początkujące w analizie danych/data science. Nie oczekuj też, że ktoś tam będzie stał nad tobą z batem. Jeśli chcesz się nauczyć podstaw, to się nauczysz, jak nie to dostaniesz papier i tyle.
zamiast wywalac 6k to lepiej zatrudnij się w big data na juniora zwlaszcze ze juz jakies minimalne pojecie masz


Ciężko z tym będzie w Białym.

@Nxtp: Część wykładowców prowadziła mi zajęcia i są bardzo spoko. Jeśli 6k nie robi Ci wielkiej różnicy, a jesteś w stanie poświęcić wystarczająco dużo czasu, żeby pogłębiać to co pokażą na zajęciach to skorzystasz.

Zapisy kończą się chyba we wrześniu, a tu masz zagadnienia, które są
Postanowiłem zrobić porównanie szybkości uczenia sieci na różnych urządzeniach i przy użyciu dwóch popularnych frameworków - Pytorch i Tensorflow. Na moim dość starym laptopie mam jedynie GPU AMD i postanowiłem też sprawdzić czy mogę to jakoś wykorzystać. Okazało się, że da się to zrobić jedynie poprzez Tensorflow przy użyciu PlaidML, ale jest to problematyczne i da się wykorzystać jedynie pojedynczy wątek karty podczas gdy przy użyciu CPU domyślnie używane są wszystkie 8.
@Oo-oO: Nie bawiłem się jeszcze nigdy w dźwięki. Chciałem zrobić coś takiego w wolnym czasie ale raczej text-to-speech. I wtedy pewnie wziąłbym jakąś dużą bazę i przeprowadził tylko fine tuning na własnych danych.