Znacie jakieś ciekawe czasopisma, blogi czy kanały, na których pojawiają się nowości ze świata #bigdata #machinelearning #datascience ?
Wszystko
Najnowsze
Archiwum
@mk321: opowi pewnie chodzilo o cos w stylu towardsdatascience gdzie sa artykuly w stylu DLACZEGO NIE UZYWAC T-TESTU DLA PROB ZALEZNYCH a ty wyskakujesz z tematami o hipergraficznych sieciach neuronowych ( ͡° ͜ʖ ͡°)
@sidsfd: Na twitterze społeczność DS/ML jest bardzo aktywna. Część z nich to autorzy książek, twórcy kursów itd. Ostatnio jest trochę syfu ze względu na wojnę i kilku gości odjechało od tematu, ale polecam kilka profili:
- fchollet
- aureliengeron
- pythonengineer
- omarsar0
- fchollet
- aureliengeron
- pythonengineer
- omarsar0
Jakie dane sobie znaleźć na necie i zestawić ze sobą, żeby sprawdzić gdzie młodzi ludzie mają najłatwiej z zakupem swojej nieruchomości?
Czyli to patrzeć wiek wyprowadzania się z domu? Czy patrzeć który kraj ma największą liczbę wniosków kredytowych bo wtedy jakby są pomiędzy tym że domu się nie da w ogóle kupić a tym że kupują za gotówkę i największą liczba o jak najmniejszym obciążeniu co do zarobków by świadczyła o tym
Czyli to patrzeć wiek wyprowadzania się z domu? Czy patrzeć który kraj ma największą liczbę wniosków kredytowych bo wtedy jakby są pomiędzy tym że domu się nie da w ogóle kupić a tym że kupują za gotówkę i największą liczba o jak najmniejszym obciążeniu co do zarobków by świadczyła o tym
@interpenetrate: Jeżeli chcesz sprawdzić strikte zakup to wyprowadzenie się z domu nie jest żadnym wyznacznikiem. Średnia pensja do średniej ceny na m2 mieszkania może być dobrym kierunkiem + poziom bezrobocia. Liczba wniosków kredytowych tez może być spoko odwołaniem.
Czy te książki są nadal aktualne i można się z nich spokojnie uczyć?
1. Microsoft SQL Server 2016. Analysis Services. Modelowanie tabelaryczne Autor: Russo Marco , Ferrari Alberto
2. Podstawy języka T-SQL. Microsoft SQL Server 2016 i Azure SQL Database Autror: Ben-Gan Itzik
3.
1. Microsoft SQL Server 2016. Analysis Services. Modelowanie tabelaryczne Autor: Russo Marco , Ferrari Alberto
2. Podstawy języka T-SQL. Microsoft SQL Server 2016 i Azure SQL Database Autror: Ben-Gan Itzik
3.
A znacie może coś bardziej aktualnego? :) Chodzi mi o to czy to co jest w tyc książkach może mi się naprawdę przydać jako początkującemu, żebym się nie uczył jakiś starych głupot :D
@FrankLucas92: to jest książka na temat DAX a nie samego PowerBI. Książka jest jak najbardziej aktualna, szczerze polecam.
- 1
@Metylo: Tę akurat dostałem, ale odmówiłem, bo okazało się, że jednak miałbym tam robić coś innego, a jednak celuję konkretnie w pracę z BI, analiza danych. Ale miałem w tym tygodniu 3 inne rozmowy i teraz czekam na odpowiedź :D
#anonimowemirkowyznania
Pracuje na co dzień z SQL (T-SQL), oraz trochę z .NET od roku - to moja pierwsza praca.
Myśle nad rozwojem w kierunku #datascience
Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?
#programista15k chociaż ja jestem #programista7k15kjestdlazarzaduareczku
Pracuje na co dzień z SQL (T-SQL), oraz trochę z .NET od roku - to moja pierwsza praca.
Myśle nad rozwojem w kierunku #datascience
Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?
#programista15k chociaż ja jestem #programista7k15kjestdlazarzaduareczku
- 5
Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?
@AnonimoweMirkoWyznania: średnio, modna sprawa, dużo chętnych, szybko zmieniająca technologia. Lepiej (koszt wdrożenia do zarobków) idź w stock Azure i chmurowe serwisy do pracy z danymi. Migracje, optymalizacje, procesy ETL/ELT itp. Piszę to jako osoba
- 5
@arek-kukla: Chyba był na topie wśród pismaków, którzy tworzyli "listy zawodów na topie". Albo jeżeli przez "na topie" masz na myśli popularność wśród studentów. Przede wszystkim nie możesz przekładać 1:1 sytuacji w USA do sytuacji w Polsce, czy w ogóle w Europie, bo te rynki pracy wyglądają zupełnie inaczej i to nie jest tylko kwestia "paru lat różnicy", tylko po prostu systemowych różnic, u nas np. popularność języków programowania rozkłada
#anonimowemirkowyznania
Czy rynek dla DS i MLE jest rzeczywiście tak biedny, jak sugerują portale z ofertami typu Just Join IT czy No Fluff Jobs? Prawie nic dla juniorów, stawki mega przeciętne w porównaniu z resztą IT, oferty w stylu "minimum 5 lat doświadczenia na podobnym stanowisku, mile widziany doktorat z nauk ścisłych" z widełkami, które może rzucić crudziarz po bootcampie z 4-letnim doświadczeniem. O ile dobrze pamiętam, jeszcze 2 lata
Czy rynek dla DS i MLE jest rzeczywiście tak biedny, jak sugerują portale z ofertami typu Just Join IT czy No Fluff Jobs? Prawie nic dla juniorów, stawki mega przeciętne w porównaniu z resztą IT, oferty w stylu "minimum 5 lat doświadczenia na podobnym stanowisku, mile widziany doktorat z nauk ścisłych" z widełkami, które może rzucić crudziarz po bootcampie z 4-letnim doświadczeniem. O ile dobrze pamiętam, jeszcze 2 lata
@AnonimoweMirkoWyznania: niestety tak to wygląda. ML dostaje pensje juniora zanim się nie nauczy (3-4 lata).
@AnonimoweMirkoWyznania: Wydaję mi się, że firmy nie potrzebują już juniorów DS/MLE. Okazało się, że ML w notebookach to nie jest rozwiązywanie problemów biznesowych tylko zabawa. Co więcej, koszty zespołu DS rosną wykładniczo, wraz ze skomplikowaniem projektu. Nie wyobrażam sobie dać juniorowi zadanie do przygotowania modelu pod trening, który może kosztować nawet kilka tysięcy $. To samo tyczy się przygotowania danych, analizy, rozmowy z klientem i tak dalej.
Problem moim zdaniem jest
Problem moim zdaniem jest
Treść przeznaczona dla osób powyżej 18 roku życia...
- 7
@Popcornn1: a czy można z licencjatem iść na podyplomowe? jeżeli tak, to zamiast się męczyć na jakimś zarządzaniu, zrobiłbyś coś np. ze statystyki (jeżeli chodzi o AI czy ML to pewnie studia w PL nie nadążają z programem, na kursach w necie znajdziesz świeższy kontent)
- 2
@heniek_8: na cześć podyplomówek wystarczy licencjat
- 0
Czy jak normalizuje feature w traning set to czy muszę też znormalizować ten feature w secie, który służy do predykcji?
#uczeniemaszynowe #machinelearning #datascience #sztucznainteligencja
#uczeniemaszynowe #machinelearning #datascience #sztucznainteligencja
- 15
Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
źródło: comment_1646820592QwqQ6VLD4OTjBYP507yOdP.jpg
Pobierz@SwissDevJobs: Mam tak właśnie od dwóch tygodni, że ani w domu, ani w pracy nie programuję. Właściwie dzięki wojnie jestem chwilowo bezrobotny. Czuję już, że wyparuje mi z głowy trochę wiedzy
Hej. Czy do zostania data analyst potrzebna jest mega mega zaawansowana matma i bez studiow ani rusz czy jednak mozna zrobic kurs ktory trwa prawie rok i znalezc prace w tej dziedzinie?
#datascience #dataanalysis #matematyka
#datascience #dataanalysis #matematyka
- 1
@Mordechai: w studiach matematycznych nie chodzi tyle o wiedzę czy konkretne zaawansowane metody co sposób myślenia, u mnie w firmie jest sporo osób nie po matmie (itp) i spokojnie dają sobie radę, ale Ci po matmie itp zdecydowanie odstają i szybciej awansują/dochodzą na wyżej w ścieżce kariery
@Mordechai: nie jest
Potrzebuje opinii kogoś bardziej doświadczonego jeśli chodzi o radzenie sobie z imbalanced data. Regresja logistyczna. Mam zbiór danych z 4000 wierszy (przed podziałem train test split) i w tym zbiorze jest tylko 16% wartości 1 wiec zbiór danych jest niezbalansowany. I tutaj mam pewne wątpliwości:
1.Czy metody SMOTE używamy przed podziałem zbioru na treningowy i testowy?
2.Co w przypadku gdy po upsamplingu SMOTE (zrobionym na zbiorze testowym) otrzymujemy dla modeli niższe accuracy niż bez
1.Czy metody SMOTE używamy przed podziałem zbioru na treningowy i testowy?
2.Co w przypadku gdy po upsamplingu SMOTE (zrobionym na zbiorze testowym) otrzymujemy dla modeli niższe accuracy niż bez
- 2
Najpierw split, potem SMOTE
https://kiwidamien.github.io/how-to-do-cross-validation-when-upsampling-data.html
@srutownik:
https://kiwidamien.github.io/how-to-do-cross-validation-when-upsampling-data.html
@srutownik:
@srutownik: Zacznij od porządnej analizy danych a później weź sie za algorytmy klasyfikacji. Jeśli stwierdzisz w trakcie analizy, że dane są mało spójne tzn. posiadają dużo szum to musisz go usunąć i dopiero później stwiedzić czy potrzebujesz metod rozszerzania danych.
- 0
#machinelearning #deeplearning #webscraping #datascience #prawo
Mirki, czy wiecie jak obecnie w Polsce wygląda dokładnie prawo autorskie w kontekście gromadzenia treści na potrzeby naukowe? Mam konkretnie na myśli czy tworząc bazę danych obrazów (i ją nieodpłatnie udostępniając) w celu przetrenowania sieci nie łamię prawa? Czy na potrzeby akademickie jest to legalne? Co jeżeli bym gromadził zdjęcia z wyszukiwarek? Badał ktoś ostatnio taką kwestię?
Mirki, czy wiecie jak obecnie w Polsce wygląda dokładnie prawo autorskie w kontekście gromadzenia treści na potrzeby naukowe? Mam konkretnie na myśli czy tworząc bazę danych obrazów (i ją nieodpłatnie udostępniając) w celu przetrenowania sieci nie łamię prawa? Czy na potrzeby akademickie jest to legalne? Co jeżeli bym gromadził zdjęcia z wyszukiwarek? Badał ktoś ostatnio taką kwestię?
Mirki, polecicie jakiś kanał/książkę o wizualizacji danych dla laika?
#it #datascience #pytaniedoeksperta
#it #datascience #pytaniedoeksperta
@odrzutowakuchenka: taktyk
- 0
@odrzutowakuchenka: Dziękuje za polecenia. Zamówiłam sobie Storytelling. Ale na ten show me the numbers też mam chrapkę - ale faktycznie, już dwie stówki trzeba wyłożyć. Zapisze sobie jako pomysł dla mnie ode mnie na prezent. ( ͡° ͜ʖ ͡°)
czy istnieje jakiś sensowny do polecenia plugin dla VS Code / notepad++ / pycharma który umie w lintera dla procedur w dialekcie #snowflake data warehouse? Bo k-----a czasem bierze jak się zapomni o przecinku a ten warehouse dość ubogo informuje o tym gdzie jest problem ( ͡° ͜ʖ ͡°)
#programista15k #sql #warehouse #datascience
#programista15k #sql #warehouse #datascience
- 1
@Arogancky: Ale to już chyba taka uroda wszystkiego co SQLowe.
W IntellijJ jest connector do snowflake (jak i każdej normalnej bazy) i on robi całą tą otoczkę z walidacją syntaxa jak i schemy na przyklad.
https://www.jetbrains.com/help/idea/snowflake.html
W IntellijJ jest connector do snowflake (jak i każdej normalnej bazy) i on robi całą tą otoczkę z walidacją syntaxa jak i schemy na przyklad.
https://www.jetbrains.com/help/idea/snowflake.html
- 0
@kobrys13: no właśnie widziałem :D dzięki
- 13
Zapraszamy na krótki przegląd ofert z kategorii #datascience i #dataengineering, dla chętnych na przeprowadzkę do #szwajcaria lub #niemcy ( ͡º ͜ʖ͡º)
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
(SwissDevJobs.ch | LinkedIn | Twitter | Facebook)
(GermanTechJobs.de | LinkedIn | Twitter |
źródło: comment_1643797161u4OUtXcMjp9bIifMS2yoGj.jpg
Pobierz#anonimowemirkowyznania
Mam 27 lat. Skończyłem studia związane z logistyką oraz transportem. Na inżynierce studia były związane ogólnie z TSL, a na studia magisterskie wybrałem specjalizację morską, jako że studiowałem, mieszkałem i planowałem pozostać w Trójmieście. Niestety tak mi się ułożyło, że byłem zmuszony powrócić bliżej rodzinnego miasta i aktualnie od prawie 3 lat mieszkam w centrum Polski. Na razie powrót do Trójmiasta nie jest możliwy, więc pracy w transporcie i
Mam 27 lat. Skończyłem studia związane z logistyką oraz transportem. Na inżynierce studia były związane ogólnie z TSL, a na studia magisterskie wybrałem specjalizację morską, jako że studiowałem, mieszkałem i planowałem pozostać w Trójmieście. Niestety tak mi się ułożyło, że byłem zmuszony powrócić bliżej rodzinnego miasta i aktualnie od prawie 3 lat mieszkam w centrum Polski. Na razie powrót do Trójmiasta nie jest możliwy, więc pracy w transporcie i
- 1
@AnonimoweMirkoWyznania: Hmm, może widzę to nieco utopijnie, ale gdybym był Tobą, to ogarnalbym dosc solidnie w/w czyli Excel - biegle (pivoty, vlokapy, sumowanie itp.), SQL, Power Query i probował zaczepic sie do korpo na stanowiska związane z analizą dancych / planowaniem / raportowaniem. Fakt, to jeszcze nie jest datasceince, ale mysle, ze blizej stad niz z budzetówki, a i hajs na starcie w korpo dostaniesz duzo lepszy niz w budzetówce
@AnonimoweMirkoWyznania: ja, zamiast rekonesansu na wykopie zrobiłbym najpierw rekonesans w firmie w której pracujesz. Rozejrzyj się czy nie ma jakichś otwartych rekrutacji w działach analitycznych. Jeżeli nie, to zorientowanym się, czy w dziale w którym pracujesz, nie ma opcji rozwoju analityki: Np analiza łańcucha dostaw w czasie rzeczywistym, analiza danych dotyczących opóźnień czy coś w ten deseń. Zastanów się z jakiego typu informacjami pracujesz, lub zanalizuj jakiś problem z którym
- 4
Cześć Mirki,
Szukam osób #datascience #python do nowo powstającego Hubu w Europie.
Firma to amerykanski start-up R&D Data Cloud for Pharma Life Science.
https://www.tetrascience.com/
Data
Szukam osób #datascience #python do nowo powstającego Hubu w Europie.
Firma to amerykanski start-up R&D Data Cloud for Pharma Life Science.
https://www.tetrascience.com/
Data
@serjsoad: Jaki jest sens w wymaganiu 10 lat doświadczenia zawodowego przy tak zmieniającym się rynku? ( ͡° ͜ʖ ͡°)
- 4
@Lunatik: dlatego na język jest 5 lat co ja kna ta stawkę jest chyba ok, a 10lat w produkcji softu też jest OK. Mimo wszystk osoba która była w branży 10lat wiedziała więcej i doświadczyła więcej niż taka co jest 5 lat, chodzi tutaj głównie o komunikacje, wyzwania, wdrożenia, ludzi, współprace. Takie doświadczenia się nie dezaktualizują. Tak jak mądrość życiowa, tak samo jest cos takiego jak mądrość branżowa. Tylko trzeba
W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy, że widzimy, że jest duża zależność między tym jednym parametrem, a przewidywanym wynikiem.
To co słyszałem, to to, że najpewniej tego parametru nie powinniśmy używać, ale to dla mnie nie do końca ma sens, bo jeśli coś jest nam znanym parametrem i w praktycznym ('produkcyjnym') wykorzystaniu modelu, nadal będziemy mieć do niego dostęp, to dlaczego mielibyśmy się go pozbyć?
#naukaprogramowania
To co słyszałem, to to, że najpewniej tego parametru nie powinniśmy używać, ale to dla mnie nie do końca ma sens, bo jeśli coś jest nam znanym parametrem i w praktycznym ('produkcyjnym') wykorzystaniu modelu, nadal będziemy mieć do niego dostęp, to dlaczego mielibyśmy się go pozbyć?
#naukaprogramowania
źródło: comment_1643469459zbGAHDNHSB0KezezrFdhbX.jpg
Pobierz@JebawczanRysionu: tylko tutaj chodzi o dane, których nie będziesz miał na moment użycia modelu. Przykładowo próbujesz ocenić czy hipoteka się spłaci, a do tworzenia modelu użyłbyś zmiennej, która mówi czy klient miał zaległości w 3 miesiącu na tej hipotece, gdzie na moment oceny jeszcze tego nie wiesz.
@JebawczanRysionu: to co opisujesz to współliniowość statystyczna, i tak czasem lepiej żeby jej nie było bo mocno skorelowane cechy przy dużych odchyleniach będą powodować niewłaściwe estymacje wyników. Ale dużo zależy od danych jakie posiadasz, jeśli np. zakładasz, że zmienna mocno skorelowana z wyjściem nie powinna odbiegać od rozkładu i wartości które posiadasz w zbiorze treningowym to warto ją umieścić i sprawdzić jak będzie wpływać na wynik.
Data leak to zjawisko
Data leak to zjawisko
mam 4 lata doświadczenia w webdev (nie licząc studiów), czy możliwe jest aby załapać się na jakiś staż związany z AI, ML lub Data Science bez większego doświadczenia i dobrej matmy? Mam tam jakieś niewielkie podstawy pythona, R i data science ale nic ponad to.
Webdevem rzygam i już podczas rozpoczęcia pracy w tym, wiedziałem, że nie chcę tego robić, no ale pieniążki były mi potrzebne do życia i na studia.
W
Webdevem rzygam i już podczas rozpoczęcia pracy w tym, wiedziałem, że nie chcę tego robić, no ale pieniążki były mi potrzebne do życia i na studia.
W
@kopyta_doskonale: Ja to umiem Ps’a i Lightrooma obsłużyć. Na tym kończy się moja wiedza o kąkuterach. Ale trzymam kciuki bo nie rozumiem co napisałeś.
@vestige: Od 3 miesięcy jestem na stażu z DS. Muszę przyznać, że łatwo nie było, ale się da. Przeglądajcie pracuj.pl i linkedin i próbujcie aplikować na oferty juniorskie. Rekruterzy sami nie wiedzą kogo szukają :D Mi nauka zajęła może 4-5 miesięcy i może kolejne 3 miesiące na szukaniu pracy.
- 0
Mam taką tabelkę w google sheets.
do tej pory sumowałem kwoty dla każdej osoby, jeżeli w danym wierszu mają "1".
=SUMif('KolumnaOsoby;1;'SumujKwotę')
Chciałbym rozszerzyć to o sumę iloczynu wartości kolumny każdej osoby i kwoty, ale nie wiem jak to rozwiązać. Tak aby nie sumowało tylko kwoty dla każdej kolumny, jeśli jest oznaczona jedynką, ale żeby przemnożyło kwotę przez wartość z wiersza i obliczało sumę dla każdej kolumny.
Wynik
do tej pory sumowałem kwoty dla każdej osoby, jeżeli w danym wierszu mają "1".
=SUMif('KolumnaOsoby;1;'SumujKwotę')
Chciałbym rozszerzyć to o sumę iloczynu wartości kolumny każdej osoby i kwoty, ale nie wiem jak to rozwiązać. Tak aby nie sumowało tylko kwoty dla każdej kolumny, jeśli jest oznaczona jedynką, ale żeby przemnożyło kwotę przez wartość z wiersza i obliczało sumę dla każdej kolumny.
Wynik
źródło: comment_1643313463OwWTGRbnARUx4MQ5b6ftKA.jpg
Pobierz@szymura: Najłatwiej zrobić to na zasadzie drugiej tabeli w której wymonożysz wartości i następnie je zsumujesz.
=IF(K2, K2*$J2)- 1
@szymura: jako sumę pod każdym imieniem dajesz formułę
=sum( $zakres_ceny * zakres_imie)
(zakres ceny blokujesz dolarkami, po to żeby jak przesuwasz formułę w prawo do następnego imienia to żebyś miał dalej ceny, rozumiesz o co chodzi?
jak klepniesz enter dla takiej formuły to dostaniesz błąd
=sum( $zakres_ceny * zakres_imie)
(zakres ceny blokujesz dolarkami, po to żeby jak przesuwasz formułę w prawo do następnego imienia to żebyś miał dalej ceny, rozumiesz o co chodzi?
jak klepniesz enter dla takiej formuły to dostaniesz błąd
#Value ale to nic bo chcesz zrobić





















No wiecie, to powinno w sumie być sprawdzalne, te tezy. Podaję przykład z brzegu:
Te rzekome ucharakteryzowania poszczególnych psychik sprawiają, że wyszczególnia się dobrze reagujące na siebie pary i źle.
Teoretycznie rzecz biorąc dane znaków zodiaku są wiadome - byłaby możliwość stwierdzenia czy np. wzorce się powtarzają w obiekcie testowym czyli populacji czy takie pary faktycznie się wyłaniają w istotnej liczbie. Czy te wzorce (patterny), się
źródło: comment_1649191079BIzwnincAGlz0DNCBxbLPl.jpg
Pobierz