Jakie dane sobie znaleźć na necie i zestawić ze sobą, żeby sprawdzić gdzie młodzi ludzie mają najłatwiej z zakupem swojej nieruchomości?
Czyli to patrzeć wiek wyprowadzania się z domu? Czy patrzeć który kraj ma największą liczbę wniosków kredytowych bo wtedy jakby są pomiędzy tym że domu się nie da w ogóle kupić a tym że kupują za gotówkę i największą liczba o jak najmniejszym obciążeniu co do zarobków by świadczyła o tym
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@interpenetrate: Jeżeli chcesz sprawdzić strikte zakup to wyprowadzenie się z domu nie jest żadnym wyznacznikiem. Średnia pensja do średniej ceny na m2 mieszkania może być dobrym kierunkiem + poziom bezrobocia. Liczba wniosków kredytowych tez może być spoko odwołaniem.
  • Odpowiedz
Czy te książki są nadal aktualne i można się z nich spokojnie uczyć?

1. Microsoft SQL Server 2016. Analysis Services. Modelowanie tabelaryczne Autor: Russo Marco , Ferrari Alberto

2. Podstawy języka T-SQL. Microsoft SQL Server 2016 i Azure SQL Database Autror: Ben-Gan Itzik

3.
  • 14
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

A znacie może coś bardziej aktualnego? :) Chodzi mi o to czy to co jest w tyc książkach może mi się naprawdę przydać jako początkującemu, żebym się nie uczył jakiś starych głupot :D


@FrankLucas92: to jest książka na temat DAX a nie samego PowerBI. Książka jest jak najbardziej aktualna, szczerze polecam.
  • Odpowiedz
@Metylo: Tę akurat dostałem, ale odmówiłem, bo okazało się, że jednak miałbym tam robić coś innego, a jednak celuję konkretnie w pracę z BI, analiza danych. Ale miałem w tym tygodniu 3 inne rozmowy i teraz czekam na odpowiedź :D
  • Odpowiedz
#anonimowemirkowyznania
Pracuje na co dzień z SQL (T-SQL), oraz trochę z .NET od roku - to moja pierwsza praca.
Myśle nad rozwojem w kierunku #datascience
Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?

#programista15k chociaż ja jestem #programista7k15kjestdlazarzaduareczku #pracait #programowanie
  • 10
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Warto w to iść? Jak jest z praca tak realnie? Co trzeba faktycznie umieć? Bo widzę pełno Pythona, jakoś SQL rzadko się przewija, z tego co widzę w ofertach. Jakieś porady, warto się w to pchać?


@AnonimoweMirkoWyznania: średnio, modna sprawa, dużo chętnych, szybko zmieniająca technologia. Lepiej (koszt wdrożenia do zarobków) idź w stock Azure i chmurowe serwisy do pracy z danymi. Migracje, optymalizacje, procesy ETL/ELT itp. Piszę to jako osoba
  • Odpowiedz
@arek-kukla: Chyba był na topie wśród pismaków, którzy tworzyli "listy zawodów na topie". Albo jeżeli przez "na topie" masz na myśli popularność wśród studentów. Przede wszystkim nie możesz przekładać 1:1 sytuacji w USA do sytuacji w Polsce, czy w ogóle w Europie, bo te rynki pracy wyglądają zupełnie inaczej i to nie jest tylko kwestia "paru lat różnicy", tylko po prostu systemowych różnic, u nas np. popularność języków programowania rozkłada
  • Odpowiedz
#anonimowemirkowyznania
Czy rynek dla DS i MLE jest rzeczywiście tak biedny, jak sugerują portale z ofertami typu Just Join IT czy No Fluff Jobs? Prawie nic dla juniorów, stawki mega przeciętne w porównaniu z resztą IT, oferty w stylu "minimum 5 lat doświadczenia na podobnym stanowisku, mile widziany doktorat z nauk ścisłych" z widełkami, które może rzucić crudziarz po bootcampie z 4-letnim doświadczeniem. O ile dobrze pamiętam, jeszcze 2 lata temu sytuacja wyglądała zupełnie inaczej.

https://www.youtube.com/watch?v=dX-xdIKm9X4

#datascience #it #machinelearning #programista15k #programowanie
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@AnonimoweMirkoWyznania: Wydaję mi się, że firmy nie potrzebują już juniorów DS/MLE. Okazało się, że ML w notebookach to nie jest rozwiązywanie problemów biznesowych tylko zabawa. Co więcej, koszty zespołu DS rosną wykładniczo, wraz ze skomplikowaniem projektu. Nie wyobrażam sobie dać juniorowi zadanie do przygotowania modelu pod trening, który może kosztować nawet kilka tysięcy $. To samo tyczy się przygotowania danych, analizy, rozmowy z klientem i tak dalej.
Problem moim zdaniem jest przesyt słabej jakości osób, które
1. Nie mają doświadczenia kierunkowego.
2. Nie mają wystarczającej wiedzy z zakresu programowania (przecież uczyli się tylko pisania kodu w jupyterach)
3. Nie mają wystarczającej wiedzy stricte technicznej z tematów ML (bo przecie wystarczy fit()/predict()
4. I na koniec, nie mają doświadczenia z usługami chmurowymi, które de facto stanowią podstawę w nowoczesnych firmach związanych
  • Odpowiedz
Cześć,

Skończyłem chwilę temu studia inżynierskie, pracuje już prawie rok w data science I zacząłem jakieś studia zaoczne magisterskie z d--y - zarządzanie i inżynieria produkcji. Tylko po to aby dostać tytuł magistra.

Natomiast mijają kolejne tygodnie zajęć a mi się chce już rzygać nimi. NIC konkretnego się nie uczę co mogło by mi się przydać w przyszłości. Totalnie nic. I tutaj moje pytanie do Was.

Pracuje
  • 14
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Popcornn1: a czy można z licencjatem iść na podyplomowe? jeżeli tak, to zamiast się męczyć na jakimś zarządzaniu, zrobiłbyś coś np. ze statystyki (jeżeli chodzi o AI czy ML to pewnie studia w PL nie nadążają z programem, na kursach w necie znajdziesz świeższy kontent)
  • Odpowiedz
@Mordechai: w studiach matematycznych nie chodzi tyle o wiedzę czy konkretne zaawansowane metody co sposób myślenia, u mnie w firmie jest sporo osób nie po matmie (itp) i spokojnie dają sobie radę, ale Ci po matmie itp zdecydowanie odstają i szybciej awansują/dochodzą na wyżej w ścieżce kariery
  • Odpowiedz
@Mordechai: wal studia, no chyba ze jeszcze przy okazji chcesz zalapac kontakty czy cos. Dla myślącego pracodawcy liczy sie czy wprowadzasz jakis impact dla jego biznesu, masz potencjał rozwojowy.
Jesli pokazesz swoje projekty i dobrze je udokumentujesz, pokazesz ze wiesz co robisz to nie bedziesz mial problemu, no ale jak twoim glownym celem sa pieniadze to watpie czy bedziesz mial motywacje bo nauki jest duzo
  • Odpowiedz
Potrzebuje opinii kogoś bardziej doświadczonego jeśli chodzi o radzenie sobie z imbalanced data. Regresja logistyczna. Mam zbiór danych z 4000 wierszy (przed podziałem train test split) i w tym zbiorze jest tylko 16% wartości 1 wiec zbiór danych jest niezbalansowany. I tutaj mam pewne wątpliwości:

1.Czy metody SMOTE używamy przed podziałem zbioru na treningowy i testowy?
2.Co w przypadku gdy po upsamplingu SMOTE (zrobionym na zbiorze testowym) otrzymujemy dla modeli niższe accuracy niż bez tego upsamplingu?
3. Wszystkie rady będą mile widziane :)

Poniżej
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@srutownik: Zacznij od porządnej analizy danych a później weź sie za algorytmy klasyfikacji. Jeśli stwierdzisz w trakcie analizy, że dane są mało spójne tzn. posiadają dużo szum to musisz go usunąć i dopiero później stwiedzić czy potrzebujesz metod rozszerzania danych.
  • Odpowiedz
#machinelearning #deeplearning #webscraping #datascience #prawo
Mirki, czy wiecie jak obecnie w Polsce wygląda dokładnie prawo autorskie w kontekście gromadzenia treści na potrzeby naukowe? Mam konkretnie na myśli czy tworząc bazę danych obrazów (i ją nieodpłatnie udostępniając) w celu przetrenowania sieci nie łamię prawa? Czy na potrzeby akademickie jest to legalne? Co jeżeli bym gromadził zdjęcia z wyszukiwarek? Badał ktoś ostatnio taką kwestię?
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@odrzutowakuchenka: Dziękuje za polecenia. Zamówiłam sobie Storytelling. Ale na ten show me the numbers też mam chrapkę - ale faktycznie, już dwie stówki trzeba wyłożyć. Zapisze sobie jako pomysł dla mnie ode mnie na prezent. ( ͡° ͜ʖ ͡°)
  • Odpowiedz
czy istnieje jakiś sensowny do polecenia plugin dla VS Code / notepad++ / pycharma który umie w lintera dla procedur w dialekcie #snowflake data warehouse? Bo k-----a czasem bierze jak się zapomni o przecinku a ten warehouse dość ubogo informuje o tym gdzie jest problem ( ͡° ͜ʖ ͡°)
#programista15k #sql #warehouse #datascience
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#anonimowemirkowyznania
Mam 27 lat. Skończyłem studia związane z logistyką oraz transportem. Na inżynierce studia były związane ogólnie z TSL, a na studia magisterskie wybrałem specjalizację morską, jako że studiowałem, mieszkałem i planowałem pozostać w Trójmieście. Niestety tak mi się ułożyło, że byłem zmuszony powrócić bliżej rodzinnego miasta i aktualnie od prawie 3 lat mieszkam w centrum Polski. Na razie powrót do Trójmiasta nie jest możliwy, więc pracy w transporcie i logistyce stricte związaną z morską gałęzią transportu tutaj nie znajdę (nie licząc spedycji, a w to nie chcę się pchać).
Udało mi zdobyć pracę w zawodzie w firmie państwowej, tzw. budżetówce. Chwalę sobie pracę jeśli wziąć pod uwagę atmosferę, stabilność czy mój zakres obowiązków (chociaż uważam, że mógłbym robić dużo więcej), ale niestety nie zadowala mnie kwestia finansowa. Na chwilę obecną moja podstawa jest niższa od średniej krajowej (w sumie "dużo" niższa). Oczywiście jak to bywa w budżetówce mam 13-stkę, różne dodatki socjalne i dofinansowania, ale nie rekompensują one słabej podstawy. Warunki awansu zawodowego są ściśle określone przez staż pracy - im dłużej pracujesz, tym więcej zarabiasz. Problem w tym, że satysfakcjonujące mnie zarobki mógłbym osiągnąć dopiero po 12 latach pracy!
Chciałbym rozwinąć moją karierę, nauczyć się nowych i przydatnych rzeczy, które mi w tym pomogą. Początkowo myślałem o programowaniu, ale opcja przebranżowienia się, zostawienia za sobą studiów i zaczynania wszystkiego od nowa nie widzi mi się. Dodatkowo pooglądałem kilka poradników na Udemy czy YT, spróbowałem sam coś napisać i doszedłem do wniosku, że kodowanie nie jest dla mnie.
Po jakimś czasie natrafiłem na temat analizy danych. Po obejrzeniu kilku filmików oraz przeczytaniu kilku artykułów ten temat mnie zainteresował. Sprawdziłem z ciekawości na Linkedinie czy można to jakoś powiązać z logistyką i okazało się, że rzeczywiście jest to możliwe.
Tutaj kieruję moje pytanie do Was. Od czego zacząć, czego się uczyć żeby móc połączyć analizę danych z logistyką, a nawet jeśli o to trudno, to jak wkroczyć na rynek Data Science bez żadnego doświadczenia? Czy ewentualne kilkuletnie doświadczenie z branży TSL może mi pomóc?
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@AnonimoweMirkoWyznania: Hmm, może widzę to nieco utopijnie, ale gdybym był Tobą, to ogarnalbym dosc solidnie w/w czyli Excel - biegle (pivoty, vlokapy, sumowanie itp.), SQL, Power Query i probował zaczepic sie do korpo na stanowiska związane z analizą dancych / planowaniem / raportowaniem. Fakt, to jeszcze nie jest datasceince, ale mysle, ze blizej stad niz z budzetówki, a i hajs na starcie w korpo dostaniesz duzo lepszy niz w budzetówce
  • Odpowiedz
via Wykop Mobilny (Android)
  • 2
@AnonimoweMirkoWyznania: ja, zamiast rekonesansu na wykopie zrobiłbym najpierw rekonesans w firmie w której pracujesz. Rozejrzyj się czy nie ma jakichś otwartych rekrutacji w działach analitycznych. Jeżeli nie, to zorientowanym się, czy w dziale w którym pracujesz, nie ma opcji rozwoju analityki: Np analiza łańcucha dostaw w czasie rzeczywistym, analiza danych dotyczących opóźnień czy coś w ten deseń. Zastanów się z jakiego typu informacjami pracujesz, lub zanalizuj jakiś problem z którym
  • Odpowiedz
@Lunatik: dlatego na język jest 5 lat co ja kna ta stawkę jest chyba ok, a 10lat w produkcji softu też jest OK. Mimo wszystk osoba która była w branży 10lat wiedziała więcej i doświadczyła więcej niż taka co jest 5 lat, chodzi tutaj głównie o komunikacje, wyzwania, wdrożenia, ludzi, współprace. Takie doświadczenia się nie dezaktualizują. Tak jak mądrość życiowa, tak samo jest cos takiego jak mądrość branżowa. Tylko trzeba
  • Odpowiedz
W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy, że widzimy, że jest duża zależność między tym jednym parametrem, a przewidywanym wynikiem.
To co słyszałem, to to, że najpewniej tego parametru nie powinniśmy używać, ale to dla mnie nie do końca ma sens, bo jeśli coś jest nam znanym parametrem i w praktycznym ('produkcyjnym') wykorzystaniu modelu, nadal będziemy mieć do niego dostęp, to dlaczego mielibyśmy się go pozbyć?
#naukaprogramowania
JebawczanRysionu - W #machinelearning jest takie pojęcie jak data leakage. Powiedzmy,...

źródło: comment_1643469459zbGAHDNHSB0KezezrFdhbX.jpg

Pobierz
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@JebawczanRysionu: tylko tutaj chodzi o dane, których nie będziesz miał na moment użycia modelu. Przykładowo próbujesz ocenić czy hipoteka się spłaci, a do tworzenia modelu użyłbyś zmiennej, która mówi czy klient miał zaległości w 3 miesiącu na tej hipotece, gdzie na moment oceny jeszcze tego nie wiesz.
  • Odpowiedz
@JebawczanRysionu: to co opisujesz to współliniowość statystyczna, i tak czasem lepiej żeby jej nie było bo mocno skorelowane cechy przy dużych odchyleniach będą powodować niewłaściwe estymacje wyników. Ale dużo zależy od danych jakie posiadasz, jeśli np. zakładasz, że zmienna mocno skorelowana z wyjściem nie powinna odbiegać od rozkładu i wartości które posiadasz w zbiorze treningowym to warto ją umieścić i sprawdzić jak będzie wpływać na wynik.
Data leak to zjawisko
  • Odpowiedz
mam 4 lata doświadczenia w webdev (nie licząc studiów), czy możliwe jest aby załapać się na jakiś staż związany z AI, ML lub Data Science bez większego doświadczenia i dobrej matmy? Mam tam jakieś niewielkie podstawy pythona, R i data science ale nic ponad to.
Webdevem rzygam i już podczas rozpoczęcia pracy w tym, wiedziałem, że nie chcę tego robić, no ale pieniążki były mi potrzebne do życia i na studia.
W
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@vestige: Od 3 miesięcy jestem na stażu z DS. Muszę przyznać, że łatwo nie było, ale się da. Przeglądajcie pracuj.pl i linkedin i próbujcie aplikować na oferty juniorskie. Rekruterzy sami nie wiedzą kogo szukają :D Mi nauka zajęła może 4-5 miesięcy i może kolejne 3 miesiące na szukaniu pracy.
  • Odpowiedz
Mam taką tabelkę w google sheets.
do tej pory sumowałem kwoty dla każdej osoby, jeżeli w danym wierszu mają "1".
=SUMif('KolumnaOsoby;1;'SumujKwotę')

Chciałbym rozszerzyć to o sumę iloczynu wartości kolumny każdej osoby i kwoty, ale nie wiem jak to rozwiązać. Tak aby nie sumowało tylko kwoty dla każdej kolumny, jeśli jest oznaczona jedynką, ale żeby przemnożyło kwotę przez wartość z wiersza i obliczało sumę dla każdej kolumny.

Wynik
szymura - Mam taką tabelkę w google sheets.
do tej pory sumowałem kwoty dla każdej o...

źródło: comment_1643313463OwWTGRbnARUx4MQ5b6ftKA.jpg

Pobierz
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@szymura: jako sumę pod każdym imieniem dajesz formułę
=sum( $zakres_ceny * zakres_imie)

(zakres ceny blokujesz dolarkami, po to żeby jak przesuwasz formułę w prawo do następnego imienia to żebyś miał dalej ceny, rozumiesz o co chodzi?

jak klepniesz enter dla takiej formuły to dostaniesz błąd #Value ale to nic bo chcesz zrobić
  • Odpowiedz
Obecnie pracuję branży logistycznej - firma produkcyjna - ja siedzę w dziale transportu. Chciałbym uderzyć w Business Intelligence, bo ogólnie temat bardzo mnie interesuje i chciałbym podnieść swoją karierę zawodową na wyższy level. W pracy mamy tony danych i z tymi danymi stykam się codziennie. I teraz pytania do ogarniających temat:
1. Mój plan nauki: ogarnąć bardziej zaawanasowanego excela, powerquery, liznąć vba, power bi i sql. Czy to jest okej droga do celu? Może ktoś coś doradzi?
2. Czy jeślli już to w miarę ogarnę i w obecnej pracy nikt nie bedzie zainteresowany moimi nowymi skillami to czy jeśli bede chciał zmienić pracę moje kilkuletnie doświadczenie w branży logistycznej/transportowej będzie atutem, dzięki któremu mogę dostać w miarę sensowną/spoko płatną pracę w BI?
3. Gdzie polecacie sie uczyć? Szczerze mówiąc, nie uśmiechają mi się bootcapmy i kursy za kilka kafli, więc postanowiłem uczyć sie na własną rękę, ewentualnie wspierać się kursami z udemy/ytb/ewentualnie książkami.
4. Czy to co napisałem wyżej wystarczy, żeby wejść w Business Intelligence i zdobyć dobrze płatną pracę?

Proszę
  • 17
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Wszystkie powyżesze porady +
Porozmawiaj ze swoim przełożonym i powiedz mu, że masz pomysł na siebie i na dane w firmie (jeśli masz) i chcesz poświęcić np. x czas w pracy na naukę, a dodatkowo może wyjść z tego zysk dla firmy.
np. Zaproponuj, że zrobisz jakieś interaktywne dashboard w power BI / Tableau razem z powiadomieniami, alertami itp.
W ten sposób, na pewno więcej się nauczysz i będziesz miał mocny argument,
  • Odpowiedz
@heniek_8: wersja darmowa nie pozwala ci publikować ich w pbi services, ale można robić dashboardy na pulpicie, chyba z ograniczeniem do 1GB wagi więc i tak dużo. Można triala na 60 dni aktywować, wrzucić w sieć i wtedy pokazać komu trzeba, oni też aktywują

a wersja pro kosztuje 10 dolarów / msc także no nie majątek
  • Odpowiedz