Hej mireczki #datascience, mam pytanie, może głupie, może mądre:
Jak w świecie data science być up to date?

Wiem, że cała piaskownica zwana ds jest ogromna i każda dziedzina (nlp,computer vision itd) to odrębna, wyspecjalizowana działka mająca swoje niuanse, ale chodzi mi raczej o ogólne newsy/odkrycia, które pokazują aktualne trendy, zmieniającą się metodologie w podejściu do różnych problemów etc..

Skąd czerpiecie takie informacje? Czasem scrolluje sobie towardsdatascience i medium
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Zazwyczaj w temacie #python dopytuję, ale dziś chciałbym podzielić sie moim małym odkryciem przydatnym przy #datascience czy innych analizach w jupyter notebook.
Otóz zawsze strasznie irytowalo mnie poruszanie sie po kodzie - tj przewiniecie do danego miejsca, gdzie np cos zaczytywalem itp. dzis znalazłem wygodne i łatwo instalowalne narzedzie:
https://github.com/shoval/jupyter-navbar
(ma minusy - nie dziala z takimi samymi nazwami i nie dziala w JupyterLab)

Rozszerzenie tworzy boczny spis tresci odwolujacy sie do nagłówków w markdownie. Bardzo wg mnie ulatwia prace przy rozbudowanym kodzie/analizie.
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@peoplearestrange: Nie oszukujmy się, jeśli będziesz zarabiał równowartość tych 60k € w Warszawie, no to w kieszeni zostanie Ci jednak więcej, niż jakbyś mieszkał w Monachium. Pytanie tylko, czy zawsze chodzi o pieniądze, czy też o otoczenie w którym się funkcjonuje itd, bo wszędzie z pensji programisty da się żyć na godnym poziomie ( ͡º ͜ʖ͡º)
  • Odpowiedz
@peoplearestrange: no to przecież masz masę zagranicznych firm w Polsce i płacą znacznie więcej niż te 30k euro, a w stolicy to i te 60k euro rocznie spokojnie zarobisz.

Czy Warszawa nie może mieć kompleksów? zależy czego oczekujesz, bo jak dla mnie to dużo w naszej stolicy brakuje - w góry to wyprawa przez pół Polski, a Monachium jest blisko Alp... inne fajne miasta są na przykład nad morzem (mówię
  • Odpowiedz
#inzynieria #engineer #datascience #data #it #zarzadzanie #management #praca #kariera #pracait #pracazdalna
#holandia #niemcy #expat

Hej Mirki i Mirabelki ( ͡° ͜ʖ ͡°)
Zastanawiam się co zrobić ze swoim życiem... Od momentu ukończenia studiów (mgr inż. na PW), czyli od dwóch lat pracuję i mieszkam w Holandii. Korpo międzynarodowe, inżynier mechanik - konstruktor. Przez kolejne niecałe 3 lata mam przywilej podatkowy - 30% rulling. Chcę przepracować te minimum 5 lat w Holandii, aby wypracować sobie prawo do emerytury plus pracodawca opłaca drugi filar.

Co zrobić?

  • Management 17.7% (11)
  • Niemiecki + przeprowadzka do Niemiec 48.4% (30)
  • Data analysis/IT 32.3% (20)
  • Inne (komentarz mile widziany :)) 1.6% (1)

Oddanych głosów: 62

  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Maciejo94: Ja bym szedł w stronę Niemiec ale to tylko dlatego bo ogarniam język. Swoją drogą ciekaw jestem, czy ciężko było dostać się do pracy w NL jako konstruktor. Możesz się podzielić swoim doświadczeniem na PW?
  • Odpowiedz
Cześć, mam pytanie jak powinno wyglądać portfolio osoby ubiegającej się na stanowisko datascientist, analityka danych, itp itd.

Jak ubiegasz się o pracę na stanowisko webdeva to wiadomo jakaś stronka, może aplikacja internetowa, jak na gamę deva to jakaś gra. Ale jakie portfolio powinien n mieć człowiek który pracuje z danymi? Przecież strony www nie zrobi znaczy może zrobić ale to już inna dyscyplina.

#python #datascience #machinelearning
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@printHelloWorld: być może jakieś repo z kilkoma aplikacjami skupiającymi się nad problemami typu: image regognition, nlp, classification, cos z time-series. Często podczas rekrutacji dostaje się taki przekrój zadań do rozwiązania.
  • Odpowiedz
Jupyter notebook z całym procesem analizy danych jakiegoś datasetu (pobieranie danych, czyszczenie, walidacja, analiza, wizualizacja itd.)? Github renderuje notebooki, więc możesz wrzucić coś takiego do repo i podesłać komuś linka. Jeżeli znasz biblioteki typu Shiny (R) albo Bokeh/Dash (Python), to możesz zwizualizować jakieś dane i opublikować interfejs do nich w formie apki webowej.
  • Odpowiedz
Nasze noszone *Arduino™ dla biosygnałów*, czyli #aidlab zostało uzupełnione o nowe pomiary wysokiego poziomu.

Z ważnych zmian dla programistów: Ta aktualizacja jest dość spora - ale na całe szczęście samo API niewiele się zmieniło. Wystarczy zaktualizować swoją apkę do nowego SDK i ponownie skompilować. Jeśli masz już aplikację na iOS lub Androida na sklepie to powinieneś dzisiaj rano otrzymać wiadomość e-mail przed weekendem. Dla tych z Was, którzy dopiero pracują nad nowymi aplikacjami lub projektami, upewnijcie się proszę, że zaktualizowaliście projekt do nowego SDK. Zaktualizowaliśmy również repo Githubie dla iOSa.

I dla tych którzy lubią bawić się danymi w swoich projektach #datascience mały bonus: za free, każdego tygodnia udostępniamy za darmo zebrane dane od ochotników. W kwietniu dostarczymy dane od Wioli Czuryńskiej, która przebiegnie województwo pomorskie w
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mirki, mam pytanie które wydaje się dość podstawowe ale naprawdę nie mogę nigdzie znaleźć satysfakcjonującej odpowiedzi.

Powiedzmy, że chcę generować dane finansowe dotyczące spółek giełdowych. Ponieważ cena akcji podawana jest codziennie a raporty dotyczące zadłużenia, zysków, czy wartości księgowej rzadziej (na przykład kwartalnie), wydaje mi się że optymalne jest rozdzielenie tych dwóch danych na dwie różne tabele:
- OHLC za każdy dzień
- Snapshot pokazujący dane finansowe z raportu za dany okres (np. pierwszy kwartał 2021)

Czy
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hejka #programowanie #machinelearning #datascience #python #naukaprogramowania
Czy jest tu ktoś, kto mógłby spojrzeć na dane, które sobie skleiłam i poinstruować co można z nim dalej zrobić w kierunku machine learningu? Notebook na google colab - chcę przeprowadzić predykcję plonów na podstawie zmiennych środowiskowych/klimatycznych. Mam dataset z dużą ilością parametrów (59 kolumn w tym czas posadzenia, czas zbiorów, temperatura, liczba dni poniżej różnych
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Networks_PowerCat: to tak:
dane kategoryczne (np. country albo item) zamienić na numerki i zakodować, najlepiej, one-hot encoderem, wartości liczbowe ujednolicić (bo widzę że są podane w różnych jednostkach, bo nawet jest taka kolumna) jeśli się da oczywiście, potem ustandaryzować lub znormalizować w przedziale [0;1] lub [-1;1]

Sprawdzić ile elementów brakuje w danych kolumnach, jeśli są spore braki, kolumny wywalić, jeśli są dosyć duże ale można je w miarę przystępnie wypełnić,
  • Odpowiedz
Zrobiłem film w którym prosto tłumacze fine tunning oraz transfer learning. Bym bym bardzo wdzięczny za krytykę. Może nawet zasłużę na łapkę w górę. Chętnie zrobię też film na zaproponowany przez ciebie temat.
#datascience
kornellewy - Zrobiłem film w którym prosto tłumacze fine tunning oraz transfer learni...
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@dese: Mają prawo sięgać po te dane choćby w trybie ponownego wykorzystywania informacji z KRS, Monitora Sądowego i Gospodarczego. Reguluje to ustawa o ponownym wykorzystywaniu informacji sektora publicznego. Inne podmioty również mogą korzystać z tego prawa.
Na marginesie, były niedawno zakusy, by za pomocą nowego projektu tej ustawy, wpisać też ograniczenie do ustawy o dostępie do informacji publicznej. Przepis zakładał, że po udostępnieniu informacji publicznej, organ mógłby zastrzec warunki
  • Odpowiedz
Ile to razy słyszeliście "głupi nie wie że jest głupi"?
A jak fajnie znaleźć się w tej grupie która może powiedzieć "wiem że nic nie wiem"?

Szczególnie w dyskusjach w internecie popularne jest przywoływanie efektu Dunninga-Krugera który pokazuje że osoby o niskich umiejetnosciach w danej dziedzinie przeceniaja swoje mozliwosci, a osoby wykwalifikowane niedoceniaja swoich mozliwosci? I do tego wszystkiego wstawi sie fajny wykres i voila OP zniszczony.

What if I told you, efekt duninga krugera to tylko blad w analizie danych statystycznych? I mozna go odtworzyc z losowymi liczbami?
nilfheimsan - Ile to razy słyszeliście "głupi nie wie że jest głupi"?
A jak fajnie z...

źródło: comment_1611310966xp4zGghyk6ima5LxVQhMZw.jpg

Pobierz
  • 83
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@nilfheimsan: czy jestes pewien ze piszesz o efekcie DK? Otrzymanie takiego samego wykresu nie znaczy ze to jest ten sam efekt. To tak jakby ktos zrobil wykres odwroconej paraboli i powiedzial ze jest to krzywa laffera.

Chodzi mi o to ze wykres stosowany przy efekcie DK jest tylko wizualizacja idei tak samo jak krzywa laffera jest tylko wizualizacja idei. Same pomiary maja miec JAKAS korelacje z czynnikami opisywanymi w efekcie
  • Odpowiedz
Tak, piszę o efekcie DK, nie piszę że efekt uzyskany w excelu to "to samo" ale ze wyglada tak samo


@nilfheimsan: no ale podobne wykresowo dane mozna uzyskac na nieskonczona liczbe sposobow. Dlatego to raczej jest ciekawostka niekoniecznie majaca wiele do mowienia w temacie. Efekt DK istnieje tak samo jak istnieje teoria laffera. Sam wykres jest jedynie wizualizacja IDEI ktora stara sie przedstawic autor.

Oczywiscie twierdzenie "jestes za glupi zeby zrozumiec ze jestes glupi" jest prawidlowe. Istnieje taka przepasc w umiejetnosciach ze osoba ktora nie posiada wiedzy nie jest w stanie tego nawet zauwazyc ze przepasc jest ogromna. Nie tyczy sie to tylko samej wiedzy. Umiejetnosci manualne tez do tego sie zaliczaja. Najprostszym przykladem jest wymowa w jezyku obcym. Osoba ktora nie posiada doswiadczenia nie bedzie nawet wiedziala jak bardzo jej wymowa jest nieprawidlowa. Moja dziewczyna natywnie mowi o bulgarsku. Jak powtarzam po niej slowa to jestem przekonany ze brzmia one identycznie. Nawet nagrywalismy sie. Ja nie widze roznicy w tym jak wymawiam slowa w porownaniu z nia a ona widzi ogromna
  • Odpowiedz
Cześć Mirki,

jest sprawa. Minister Edukacji i Nauki postanowił zamknąć portal Sztuczna Inteligencja (www.sztucznainteligencja.org.pl). Gdy cały rozwijający się świat docenia i wspiera rozwój sztucznej inteligencji, na świecie trwa wyścig o prymat w zakresie wykorzystania i rozwijania technologii SI, ponieważ dominacja w omawianej dziedzinie może oznaczać dominację w niemal każdym obszarze, natomiast w Polsce zamyka się jeden z najlepszych portali całkowicie poświęcony jej zagadnieniom (AI, ML...). Według McKinsey Report korzyści z wykorzystania SI płyną w niezliczonej wręcz ilości sektorów. Sztuczna inteligencja wpływa i wpływać będzie na ekonomię całego świata. Wykorzystuje ją się w bankach, ochronie środowiska, w medycynie, w wojsku. W badania nad nią na całym świecie inwestuje się gigantyczne pieniądze. Wszędzie poza Polską. Rozwój SI jest jednym z głównych elementów długoterminowej strategii wielu państw... Jeżeli podzielacie moje zdanie w tej sprawie będę wdzięczny za podpisanie petycji, listu otwarty w sprawie portalu.

Link do petycji: https://www.petycjeonline.com/list_otwarty_w_sprawie_portalu_wwwsztucznainteligencjaorgpl

Treść
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Wykop Mobilny (Android)
  • 1
@msea940: są rzeczy zaawansowane ale to raczej nie są polskie firmy tylko praca na rzecz zagranicznych. Z takich bardziej ambitnych i zaawansowanych rzeczy to w Polsce jest firma która robi oprogramowanie na komputery kwantowe
  • Odpowiedz
@msea940: Ciężko coś znaleźć w internecie, ale jest taki projekt "Polska sieć biobanków" PSB i w ramach tego projektu są gromadzone dane biomedyczne (chyba onkologiczne) i na nich jest uruchamiana sztuczna inteligencja.
Więcej szczegółów nie znam co tam dokładnie się dzieje.

W Gdańsku działa (Biobank GUMed) chyba z Politechniką Gdańską/TASK.
szukaj: "Polska sieć biobanków i sztuczna inteligencja" / GUMed
i na linkedin
  • Odpowiedz
#datascience #programista15k #informatyka #rekrutacja #python

Dzień dobry mireczki, mam w najbliższy poniedziałek rozmowę o staż na data science, stack to głównie Python, Pandas, scikit-learn, matplotlib i czasami podobno sięgają po R. Macie jakieś rady, co sobie warto powtórzyć, ewentualnie na jakie zadania się nastawić, żeby nie wypaść na totalnie zielonego? ( ͡º ͜ʖ͡º)
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@guma_balonowka: jeśli chodzi o pandasa to na pewno sposób przechowywania, indeksowania i transformowania danych. scikit-learn to głównie algorytmy, gdzie wszystko sprowadza się do odpalenia fit() z odpowiednimi parametrami. Tak więc powtórz sobie po prostu najpopularniejsze algorytmy do klasyfikacji/klasteryzacji/regresji. Matplotlib - to jest fenomen. Używam tej libki dosyć często i do dziś nie wiem nawet czysto intuicyjnie jak ona jest zbudowana. Jeżeli chcę narysować coś więcej niż prosty wykres słupkowy/liniowy to
  • Odpowiedz
@humbakiplywajakluczem Stażu głównie szukam przez platformy jobboard, jak justjoin.it, czy bulldogjobs oraz grupy na Facebooku, ten konkretny znalazłem na grupie "Data Science - Praca", czy coś w ten deseń. Uczenie zaczynałem o ile dobrze pamiętam od numpy'a, potem pandas i aktualnie uczę się scipy i scikit-learn, w międzyczasie zrobiłem jeden projekt o analizie najlepszych ruchów w grze 2048. ^^
  • Odpowiedz
@kernelpan1c wielu z moich znajomych co zmienili uczelnie właśnie na pwr uważa że nie był to najlepszy wybór. To specyficzna uczelnia i jeśli nie miałeś z nią wcześniej styczności to polecam się jeszcze zastanowić
  • Odpowiedz
Witam Mirki,
Rozważam przebranżowienie się, lvl 28 here.
Mam do Was kilka pytań. Skończyłam studia na jednej z ekonomicznych uczelni (finanse i rachunkowość), obecnie robię w księgowości, ale po kilku latach prób pracy w różnych jej działach, doszłam do wniosku, że to nie jest praca dla mnie. Myślę o czymś, co wiązałoby się ze statystyką/ekonometrią/prognozowaniem. Słyszałam o takim zawodzie jak "analityk danych". Ponoć tam dużo staty się wykorzystuje. Sprawdzałam oferty pracy na
  • 15
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Są w ogóle jakieś ciekawe miejsca pracy w polsce dla #machinelearning engineer? Coś związanego z #ai jakiś deep learning, robienie botów, computer vision? Bo widzę że większość ofert związane bardzo mocno z marketingiem, bardziej takie #datascience i jakieś opracowywanie wykresów w związku z klientami i strategiami lepszej sprzedaży w następnym miesiącu czy coś, pisanie algorytmów antyspamowych na maila czy coś, mnie takie rzeczy masakrycznie nudzą...

#
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@msea940: Są takie miejsca. Sam pracuję jako machine learning engineer w Alphamoon. Jak masz jakieś pytania, to mogę na nie odpowiedzieć. Ale z góry mogę powiedzieć, że takich nudnych datasciencowych projektów praktycznie nie mamy. Oczywiście konkurencję też mamy - do głowy przychodzi mi na szybko Infermedica, Sigmoidal, NeuroSYS. Ponoć w EY też zdarzają się fajne projekty.
  • Odpowiedz