Wizualizacja ponad 7 lat historii wykopu
Zrobiłem animację pokazującą jak zmieniała się popularność tagów na wykopie na przestrzeni lat. Popularność liczona jest jako łączna liczba wpisów na mirko oraz znalezisk, które użyły tagu w danym miesiącu. Animacja pokazuje 20 najpopularniejszych tagów w okresie od stycznia 2015 do teraz.

#ciekawostki #wykop #datascience #wizualizacjadanych
porn - Wizualizacja ponad 7 lat historii wykopu
Zrobiłem animację pokazującą jak zmi...
  • 175
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Lawsuit: przeciez to juz trwa od kilku lat, potem robia takie zaawansowane rzeczy jak w pic rel, a na wykopie doradzaja zeby sie nie pchac bez doktoratu z matematyki stosowanej ( ͡° ͜ʖ ͡°) i tak sie kreci kolo #!$%@?, aczkolwiek milo wejsc po pracy i poczytac pałowanie się dejta sajentystów, majac takich w pracy na wyciagniecie reki, widzac jak wyglada data science w p0lsce i
peoplearestrange - @Lawsuit: przeciez to juz trwa od kilku lat, potem robia takie zaa...

źródło: comment_1650815817c60mY1Ck9xGXf0G64cXWhU.jpg

Pobierz
  • Odpowiedz
@Lawsuit: Ja mam taka teorie o korpo w Polsce. W latach 90 kiedy korpo wchodziły do PL potrzebni byli ludzie od zarządzania. Nie musiałeś nic umieć, byle mieć papier i znac pokracznie ale wystarczająco angielski, żeby prowadzić w tym kraju sprzedaż produktów analitycznych wyprodukowanych za granica. Lata 00. to zapełnianie się korpo prawdziwymi kocurami, którzy z marszu byli head of analytics, head of data coś tam, aktuariuszami. Stanowisk było niewiele
  • Odpowiedz
Witam was Mirki, mam pilne pytanie.
Czy kategoria "melanocytic nevi" ze zbioru danych HAM10000 to ta sama kategoria, albo podkategoria podobnej zmiany skórnej "Nevus" ze zbioru danych ISIC2020?
Pytam, ponieważ próbuję stworzyć klasyfikator rozróżniający różne zmiany skórne i się zastanawiam, czy rozdzielanie "melanocytic nevi" i "Nevus" na dwie kategorie ma sens. Po dodaniu ósmej kategorii(Nevus), do modelu parametr "accuracy" mocno spadł. Bez kategorii "Nevus" po jednym przejściu(1 epochs, 150 steps) klasyfikator uzyskiwał taki wynik:
loss: 1.2670 - acc: 0.6281 - valloss: 1.4149 - valacc: 0.6510
Natomiast, gdy dodaje kategorie Nevus z 4000 zdjęć tej zmiany skórnej parametr "acc" nie wzrasta powyżej 0.4, albo czasem wręcz spada.
Nie znam się na dermatologii, ale podejrzewam, że mąci tu to, że "melaocytic nevi" jest podgrupą "nevus" i dlatego algorytm głupieje i nie wie jak klasyfikować danych. Jakiś mirek zna się na dermatologii i na maszynowym uczeniu aby wskazać kierunek?
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@masterix: Dzięki, zachęciłeś mnie aby wrzucić tutaj później ten projekt. Zamierzam we flasku dopisać do tego jakiś prosty interfejs i udostępnić w darmowej domenie, więc podeślę linka tutaj. Aktualnie mam spory problem z niezbalansowanymi danymi. W klasie liczącej najwięcej danych jest ich 6000 a w najmniejszej 100, co trochę psuje cały model. Poczytałem gdzieś, że dostosowanie wag mogło by w tej sytuacji pomóc. Ale nie pomaga. Zastosowałem tutaj automatyczne obliczenie
  • Odpowiedz
(Powtórka z odpowiednimi tagami)
Mirasy I Mirabelki:
Dajcie znać czy interesowało by was AMA z człowiekiem który sam się przebranżowił ze korpo klikacza enterów po kierunkach humanistycznych w Data Scientista?
Od 5 lata zajmuje się danymi, od ~2,5 roku pracuje jako DS

Każdy plusik uznaje za "Tak"
#ama #pracbaza #pracait #datascience #przebranzowienie
  • 22
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Szukam obecnie materiałów do nauki modułów ML w Pythonie (sklearn, Tensorflow). Aspekt teorytyczny jest mile widziany, ale nie jest priorytetem, ponieważ mam od tego przedmiot na uczelni. Zależy mi na tym, aby było dużo praktyki i weryfikacji wiedzy - zadań lub projektów. Zna ktoś może odpowiednie książki/kursy/serie na YT? Osobiście znalazłem ze dwie/trzy sensownie wyglądające serie na youtube oraz dwie książki na PWN Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow oraz Python
  • 11
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

tak sobie czytam o balansowaniu danych i ciągle mi się przewija w tym temacie coś takiego jak metryki, czy jest mi w stanie ktoś wytłumaczyć o co w tym chodzi? dopiero raczkuję w temacie i myślałem, że do zbalansowania danych wystarczy użyć over/under-samplingu i wtedy mamy zrównoważony zbiór? po co stosuje się jakieś metryki potem? podrzucam linka do artykułu: https://metsi.github.io/2020/05/15/kod8.html #informatyka #algorytmy #datascience
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@novak00: metryki to liczby które opisują jak (dobrze) działa model. W przypadku niezbalansownych danych wiele metryk daje mylące wartości (np. accuracy przy bezmyślnym strzelaniu w klasę dominująca może dawać wyniki 90%).
  • Odpowiedz
Aktualizacja: w środę donosiliśmy o tym, że rząd pracuje nad Zintegrowaną Platformą Analityczną i (trochę) pastwiliśmy się nad tym pomysłem. Pierwsze odpowiedzi rządu (oświadczenie KPRM) pojawiły się już po kilku godzinach.
W efekcie po części internetu przetoczyła się burza i dostaliśmy deklarację o wstrzymaniu powstania ZPA do czasu wyjaśnienia wątpliwości.

Dłuższe podsumowanie tego, co się wydarzyło w trzy dni: https://panoptykon.org/zpa-wstrzymane-prace

Niżej źródła i chronologia kręcenia Małysza ws. ZPA ( ͡° ͜
panoptykon - Aktualizacja: w środę donosiliśmy o tym, że rząd pracuje nad Zintegrowan...

źródło: comment_1649764225JcKC3CotJvAVx3G3xWYeDO.jpg

Pobierz
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Jaki kierunek studiów wybrać: matematykę czy informatykę, jeśli wiążę swoją karierę zawodową z Data Science? Mam wybór pomiędzy studiami informatycznymi na słabszych warszawskich uczelniach typu SGGW czy WAT, a studiami matematycznymi na MiNI PW lub MIMUW. Co mi da lepsze perspektywy w tej branży? Czy lepiej iść na słabszą uczelnię i uczyć się samemu czy starać się na dobrej uczelni? Olimpijczykiem nie jestem, więc też pytanie czy dam sobie radę na tych
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Czy zostały wykonane kiedykolwiek, badania dotyczące prawdziwości tez astrologii?
No wiecie, to powinno w sumie być sprawdzalne, te tezy. Podaję przykład z brzegu:
Te rzekome ucharakteryzowania poszczególnych psychik sprawiają, że wyszczególnia się dobrze reagujące na siebie pary i źle.
Teoretycznie rzecz biorąc dane znaków zodiaku są wiadome - byłaby możliwość stwierdzenia czy np. wzorce się powtarzają w obiekcie testowym czyli populacji czy takie pary faktycznie się wyłaniają w istotnej liczbie. Czy te wzorce (patterny), się przenoszą.
Albo np. dany znak zodiaku ma predyspozycję - do tego i tego, i znów, dało by się zweryfikować czy np. faktycznie tak jest. Przykładowo:

Nie
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Jakie dane sobie znaleźć na necie i zestawić ze sobą, żeby sprawdzić gdzie młodzi ludzie mają najłatwiej z zakupem swojej nieruchomości?
Czyli to patrzeć wiek wyprowadzania się z domu? Czy patrzeć który kraj ma największą liczbę wniosków kredytowych bo wtedy jakby są pomiędzy tym że domu się nie da w ogóle kupić a tym że kupują za gotówkę i największą liczba o jak najmniejszym obciążeniu co do zarobków by świadczyła o tym
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@interpenetrate: Jeżeli chcesz sprawdzić strikte zakup to wyprowadzenie się z domu nie jest żadnym wyznacznikiem. Średnia pensja do średniej ceny na m2 mieszkania może być dobrym kierunkiem + poziom bezrobocia. Liczba wniosków kredytowych tez może być spoko odwołaniem.
  • Odpowiedz
Czy te książki są nadal aktualne i można się z nich spokojnie uczyć?

1. Microsoft SQL Server 2016. Analysis Services. Modelowanie tabelaryczne Autor: Russo Marco , Ferrari Alberto

2. Podstawy języka T-SQL. Microsoft SQL Server 2016 i Azure SQL Database Autror: Ben-Gan Itzik

3.
  • 14
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

A znacie może coś bardziej aktualnego? :) Chodzi mi o to czy to co jest w tyc książkach może mi się naprawdę przydać jako początkującemu, żebym się nie uczył jakiś starych głupot :D


@FrankLucas92: to jest książka na temat DAX a nie samego PowerBI. Książka jest jak najbardziej aktualna, szczerze polecam.
  • Odpowiedz
@Metylo: Tę akurat dostałem, ale odmówiłem, bo okazało się, że jednak miałbym tam robić coś innego, a jednak celuję konkretnie w pracę z BI, analiza danych. Ale miałem w tym tygodniu 3 inne rozmowy i teraz czekam na odpowiedź :D
  • Odpowiedz
#anonimowemirkowyznania
Pracuje na co dzień z SQL (T-SQL), oraz trochę z .NET od roku - to moja pierwsza praca.
Myśle nad rozwojem w kierunku #datascience
Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?

#programista15k chociaż ja jestem #programista7k15kjestdlazarzaduareczku #pracait #programowanie
  • 10
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?


@AnonimoweMirkoWyznania: średnio, modna sprawa, dużo chętnych, szybko zmieniająca technologia. Lepiej (koszt wdrożenia do zarobków) idź w stock Azure i chmurowe serwisy do pracy z danymi. Migracje, optymalizacje, procesy ETL/ELT itp. Piszę to jako osoba
  • Odpowiedz
@arek-kukla: Chyba był na topie wśród pismaków, którzy tworzyli "listy zawodów na topie". Albo jeżeli przez "na topie" masz na myśli popularność wśród studentów. Przede wszystkim nie możesz przekładać 1:1 sytuacji w USA do sytuacji w Polsce, czy w ogóle w Europie, bo te rynki pracy wyglądają zupełnie inaczej i to nie jest tylko kwestia "paru lat różnicy", tylko po prostu systemowych różnic, u nas np. popularność języków programowania rozkłada
  • Odpowiedz
#anonimowemirkowyznania
Czy rynek dla DS i MLE jest rzeczywiście tak biedny, jak sugerują portale z ofertami typu Just Join IT czy No Fluff Jobs? Prawie nic dla juniorów, stawki mega przeciętne w porównaniu z resztą IT, oferty w stylu "minimum 5 lat doświadczenia na podobnym stanowisku, mile widziany doktorat z nauk ścisłych" z widełkami, które może rzucić crudziarz po bootcampie z 4-letnim doświadczeniem. O ile dobrze pamiętam, jeszcze 2 lata temu sytuacja wyglądała zupełnie inaczej.

https://www.youtube.com/watch?v=dX-xdIKm9X4

#datascience #it #machinelearning #programista15k #programowanie
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@AnonimoweMirkoWyznania: Wydaję mi się, że firmy nie potrzebują już juniorów DS/MLE. Okazało się, że ML w notebookach to nie jest rozwiązywanie problemów biznesowych tylko zabawa. Co więcej, koszty zespołu DS rosną wykładniczo, wraz ze skomplikowaniem projektu. Nie wyobrażam sobie dać juniorowi zadanie do przygotowania modelu pod trening, który może kosztować nawet kilka tysięcy $. To samo tyczy się przygotowania danych, analizy, rozmowy z klientem i tak dalej.
Problem moim zdaniem jest przesyt słabej jakości osób, które
1. Nie mają doświadczenia kierunkowego.
2. Nie mają wystarczającej wiedzy z zakresu programowania (przecież uczyli się tylko pisania kodu w jupyterach)
3. Nie mają wystarczającej wiedzy stricte technicznej z tematów ML (bo przecie wystarczy fit()/predict()
4. I na koniec, nie mają doświadczenia z usługami chmurowymi, które de facto stanowią podstawę w nowoczesnych firmach związanych
  • Odpowiedz