Aplikuję na stanowisko data engineera, czyli generalnie bazki danych, SQL i Python. Problem jaki obserwuję jest taki, że każda firma ma swoją definicję stanowiska, w które mierzę, jedne szukają tego data
Wszystko
Najnowsze
Archiwum
Staram się rekrutować z juniora na mida i na razie idzie mi słabo. Czy ja mam jakiegoś pecha, czy po prostu jestem jeszcze zbyt słaby? To o czym piszę o rekrutacjach poniżej to normalka? (Nie odbyłem jakoś dużo technicznych w mojej karierze)
Aplikuję na stanowisko data engineera, czyli generalnie bazki danych, SQL i Python. Problem jaki obserwuję jest taki, że każda firma ma swoją definicję stanowiska, w które mierzę, jedne szukają tego data
Aplikuję na stanowisko data engineera, czyli generalnie bazki danych, SQL i Python. Problem jaki obserwuję jest taki, że każda firma ma swoją definicję stanowiska, w które mierzę, jedne szukają tego data
wszystkie z tych rozmow byly na data engineera
@ElMatadore: sam już zauważyłeś że to bardzo rozmyte pojęcie, dlatego wierć im dziurę w brzuchu, bo jak Ty ich zamęczysz pytaniami o ich problemy to nie będą się tak skupiać na wytykaniu Twoich niedoskonałości
@ElMatadore: Brzmisz jakbyś liznął trochę relacyjnych baz danych, SQL i pythona. Jak to ma pozwolić ci być midem? Nikt cie nie będzie pytał o internale cassandry, mongo, czy jakiejkolwiek bazy relacyjnej. Po prostu poziom twojej wiedzy jest niski jeżeli to jedyne co potrafisz. Nie ogarniasz zadanek leetcodowych, znasz jakieś proste rzeczy typu SQL, czy CAP. No i do tego Python, który notabene jest naprawdę prostym językiem programowania. Masz dwie opcje,
Oto obecne trendy w Data Science. I ich zagrożenia
Sprawdź, jakie zjawiska mogą w nadchodzącym czasie zdominować zaawansowaną analitykę danych.
https://bulldogjob.pl/readme/trendy-w-data-science-co-moze-pojsc-nie-tak
#datascience #pracait #naukaprogramowania #programowanie #bulldogjob
Sprawdź, jakie zjawiska mogą w nadchodzącym czasie zdominować zaawansowaną analitykę danych.
https://bulldogjob.pl/readme/trendy-w-data-science-co-moze-pojsc-nie-tak
#datascience #pracait #naukaprogramowania #programowanie #bulldogjob
źródło: comment_1659016916SLp6Z6VrBFJIqYMVGVaCBt.jpg
Pobierz3
Oto obecne trendy w Data Science. I ich zagrożenia

Sprawdź, jakie zjawiska mogą w nadchodzącym czasie zdominować zaawansowaną analitykę danych.
z- 1
- #
- #
- #
- #
- #
- #
z ciekawości, pracuje ktoś w PL na UOP i jednocześnie w pełni zdalnie dla zagranicznej firmy na jakąś cząstkę etatu w #analizadanych?
- jak znaleźliście te druga prace? ogłoszenie w internecie?
- ile lat doświadczenia mieliście przy aplikowaniu?
- nie ma problemów z rozliczeniem takich dochodów?
- skąd firma, jakie zarobki?
- jakie
- jak znaleźliście te druga prace? ogłoszenie w internecie?
- ile lat doświadczenia mieliście przy aplikowaniu?
- nie ma problemów z rozliczeniem takich dochodów?
- skąd firma, jakie zarobki?
- jakie
Która strona najlepsza do szukania pracy zdalnej w uni europejskiej jako data scientist? LinkedIn, Glassdoor?
#datascience #machinelearning #programowanie #programista15k
#datascience #machinelearning #programowanie #programista15k
@Popcornn1: ja używam miksu tych źródeł: a) nofluffjobs b) justjointit c) skrzynka prywatna na LinkedIn
To o Was Excelowcy XD
#programista15k #programowanie #humorinformatykow #pracait #informatyk #datascience #anime
#programista15k #programowanie #humorinformatykow #pracait #informatyk #datascience #anime
źródło: comment_1658487421ityKX6Hn3VBNDGQkhU06N0.jpg
Pobierz@binarny_pasek: data science to excel? Myślałem że jakiś matlab czy coś
konto usunięte via iOS
- 19
@binarny_pasek: Excel to nie data science :))$
Ile można dostać na rękę na lvl juniora w programowaniu statystycznym/analitycznym w #sas4gl #datascience #dataengineering
#programowanie?
#programowanie?
@Matis666: tyle samo co data analyst, gdzie jest to roznie rozumiane dla kazdej firmy i niestety od 4 do 40 k xD
#datascience
Cześć potrzebuje pomocy z Clusteryzacja Kmeans w pysparku. Potrzebuje by jedna zmiana z 31 miała większa wage przy tworzeniu klastrów niż inne - w jak sposób to mogę zrobić.
Kmeans=(featurescol=features, k=6, weightCol=???)
Ktoś ma pomysł co tam dać w tym weightCol? Niby wymaga żeby podac string i nie mam pojęcia jak tego użyć. Dodam tylko ze w pysparku zmienne są w vectorze. Każda pomoc się przyda.
Cześć potrzebuje pomocy z Clusteryzacja Kmeans w pysparku. Potrzebuje by jedna zmiana z 31 miała większa wage przy tworzeniu klastrów niż inne - w jak sposób to mogę zrobić.
Kmeans=(featurescol=features, k=6, weightCol=???)
Ktoś ma pomysł co tam dać w tym weightCol? Niby wymaga żeby podac string i nie mam pojęcia jak tego użyć. Dodam tylko ze w pysparku zmienne są w vectorze. Każda pomoc się przyda.
@srutownik: Kmeans to naiwny algorytm i opiera się na odległości wiec możesz po znormalizowaniu pomnożyć te jedna zmienna xD
- 0
Chcę sobie kupić książkę "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. 2nd Edition".
Początkowo planowałem wersję po angielsku, aby lepiej ogarnąć nazewnictwo. Z jakiegoś jednak powodu, gdy szukam w sklepach to wersja angielska kosztuje około 250-300 zł, a polska 80 zł.
No i nie bardzo to rozumiem, wydaje mi się, że są to te sam wersje, skąd więc to rozbieżności? Ktoś wie o co chodzi?
#datascience #python
Początkowo planowałem wersję po angielsku, aby lepiej ogarnąć nazewnictwo. Z jakiegoś jednak powodu, gdy szukam w sklepach to wersja angielska kosztuje około 250-300 zł, a polska 80 zł.
No i nie bardzo to rozumiem, wydaje mi się, że są to te sam wersje, skąd więc to rozbieżności? Ktoś wie o co chodzi?
#datascience #python
źródło: comment_16581572002fLuNRzWxIlkppwY5eoaWx.jpg
Pobierz- 11
@Ardeo: bo helion tlumaczy tak dokladnie ze zeby zrozumiec o czym jest ksiazka bedziesz sprawdzal w angileskiej wersji
Treść przeznaczona dla osób powyżej 18 roku życia...
- 1
#datascience
Hej Mirki, tak sobie dlubie proste ETL w #pandas #numpy #python i glowkuje jak tu skrocic czas ladowania trzech duzych (1GB kazdy 900k x 200) CSV. Jedyne co przychodzi mi jeszcze do glowy to dorzucenie multiprocesingu bo duzo sie dzieje, z %pruna widze ze w tej chwili CPU jest waskim gardlem. Probowalem w prymitywny sposob zaladowac to w multi rozrzucajac kazdy plik na osobny
Hej Mirki, tak sobie dlubie proste ETL w #pandas #numpy #python i glowkuje jak tu skrocic czas ladowania trzech duzych (1GB kazdy 900k x 200) CSV. Jedyne co przychodzi mi jeszcze do glowy to dorzucenie multiprocesingu bo duzo sie dzieje, z %pruna widze ze w tej chwili CPU jest waskim gardlem. Probowalem w prymitywny sposob zaladowac to w multi rozrzucajac kazdy plik na osobny
@hoszak: zobacz na rozwiązania w tym wątku: https://stackoverflow.com/questions/6475328/how-can-i-read-large-text-files-line-by-line-without-loading-it-into-memory
@hoszak: Spróbuj Polars, sporo szybsza biblioteka, wrapper Rust-a.
https://www.pola.rs/
Ewentualnie Pyarrow - https://arrow.apache.org/docs/python/generated/pyarrow.csv.read_csv.html
https://www.pola.rs/
Ewentualnie Pyarrow - https://arrow.apache.org/docs/python/generated/pyarrow.csv.read_csv.html
bawił się ktoś może w robienie customowego monitoringu dla Airflow?
medytuję nad naklepaniem jakiegoś dashboarda który będzie zbierał statusy wykonania DAGów i pokazywał wszystko w jednym miejscu, tylko jeszcze nie wiem czy to sensowny pomysł (bo cuda niewidy pan hindus czasem robi z naszą instancją ) a nie jestem ownerem i nie chce mi się ręcznie klikać ( ͡° ͜ʖ ͡°)
czyli - jaaaaakby ktoś "been there done
medytuję nad naklepaniem jakiegoś dashboarda który będzie zbierał statusy wykonania DAGów i pokazywał wszystko w jednym miejscu, tylko jeszcze nie wiem czy to sensowny pomysł (bo cuda niewidy pan hindus czasem robi z naszą instancją ) a nie jestem ownerem i nie chce mi się ręcznie klikać ( ͡° ͜ʖ ͡°)
czyli - jaaaaakby ktoś "been there done
@Arogancky: Po co? AWS MWAA i masz wszystko na CloudWatch.
A jak lubisz się bawić to zobacz co da się zrobić z Graphaną.
A jak lubisz się bawić to zobacz co da się zrobić z Graphaną.
- 0
@arysto2011: sprawdzę, dzięki!
Dodaję mirkowpis bo znalezisko nie dostało należytej uwagi, a mam do polecenia fantastyczny link dla wszystkich z #naukaprogramowania #machinelearning. Na https://today.bnomial.com/ codziennie publikowane jest jedno pytanie/historyjka w temacie sztucznej inteligencji/data science i jest to doskonałe uzupełnienie kursów o realne przypadki kiedy z modelem jest coś nie tak - z czego to może wynikać i jak spróbować to naprawić.
#programowanie #datascience #sztucznainteligencja
#programowanie #datascience #sztucznainteligencja
źródło: comment_16573896439cWMCG3lzH4GWsSRp0Lo08.jpg
Pobierz@Networks_PowerCat: trzeba też podpiąć twittery autorów: https://twitter.com/haltakov https://twitter.com/svpino kopalnia wiedzy.
21
Jedno pytanie z machine learningu codziennie

Codzienne pytania z machine learningu, data science i sztucznej inteligencji, razem z wyjaśnieniami i darmowymi materiałami do zgłębienia tematu. Oparte na praktyce, np. jakie działania można podjąć żeby ulepszyć dany model, co może być problemem itp.
z- 0
- #
- #
- #
- #
- #
- #
#programowanie jak wygląda branża #datascience ? R-------a? Dobrze płatna? Z wysokim progiem wejścia? Używa się w niej więcej matematyki?
- 9
@J0g1: zawsze doceniałem obszerne, i uargumentowane opinie
@Tasartico7: Żartujesz? Matematyki tylko trochę więcej niż na backendzie?
To jest jakaś opinia urwana z choinki.
W DS każdy algorytm oparty jest na matmie. Żeby zrozumieć najprostsze lasso już trzeba co nieco się orientować w matematycznych znaczkach. Już nie mówie o algorytmach pokroju sieci neuronowe czy transformery.
U mnie w firmie głownie przyjmują do działy analyst matematyków i później uczą ich programowania. Sam kończyłem bardziej informatyczny kierunek i teraz moją
To jest jakaś opinia urwana z choinki.
W DS każdy algorytm oparty jest na matmie. Żeby zrozumieć najprostsze lasso już trzeba co nieco się orientować w matematycznych znaczkach. Już nie mówie o algorytmach pokroju sieci neuronowe czy transformery.
U mnie w firmie głownie przyjmują do działy analyst matematyków i później uczą ich programowania. Sam kończyłem bardziej informatyczny kierunek i teraz moją
Jakich pytań z #python mogę się spodziewać na rozmowie technicznej aplikując na mida data engineera? Jestem umówiony na już 2 rozmowy techniczne, na jednej ma być live coding głównie z Pythona i czuję przed nim stres (wiem czego mniej więcej się spodziewać po SQL'u i innych częściach).
Czy mam się spodziewać pytań o algorytmikę? Bo robię sobie zadanka na leetcode i mówiąc szczerze jestem sobą rozczarowany xD
#programista15k
Czy mam się spodziewać pytań o algorytmikę? Bo robię sobie zadanka na leetcode i mówiąc szczerze jestem sobą rozczarowany xD
#programista15k
@ElMatadore: no to zależy od firmy, ja bym stawiał, że może być więcej z obsługi pandasa/numpy ( ͡° ͜ʖ ͡°)
@ElMatadore: > ja miałem zadanie w stylu: podaj godzinę jako input i wypluj kąt między wskazówkami zegara ( ͡° ͜ʖ ͡°)
@Arogancky:
i cyk... 4 dni mi to zajęło ale udało się. gdzie mogę się zgłosić do pracy?
@Arogancky:
i cyk... 4 dni mi to zajęło ale udało się. gdzie mogę się zgłosić do pracy?
źródło: comment_16576340653YLvMTraGDP1XO7a9ZNDQU.jpg
PobierzHey czy ktoś studiował #it lub #datascience na #openuniversity i podzielił by się jak takie studia wyglądają nie mam doświadczenia z distance learning
- 0
@1392c309a2da8ca65641315bf7dc62f2: W sumie masz rację że sam się uczysz bardziej mi chodziło jakość materiałów do nauki
@doctor07: to tez zalezy, wybierajac na przyklad sieci i cisco, uczysz sie z ksiazek i materialow wydanych przez cisco. Egzaminy z rozdzialow i w dniu labow, tez sa wykonywane w cisco academy, wiec w tym wypadku jakosc materialow jest na dosc wysokim poziomie.
Czy ktoś przechodził rekrutację w #samsung R&D w Warszawie na stanowisko związane z AI? Dostałem zaproszenie na rozmowę związaną z ofertą praktyk i zastanawia mnie, czy to będzie zadanie algorytmiczne, czy bardziej pytania o Pythona i ML. #programowanie #programista15k #pracbaza #praca #pracait #rd #ai #datascience
- 1
@pustelnikk: też byłem tam z 8 lat temu i część techniczna rekrutacji wyglądała jak kolokwium. Dodałem kserówke z zadaniami. Jeszcze spotkanie z HRem, tylko nie takie łupie bezsensowne ale z psychologiem który ocenia czy będziesz dobrym szczurem w korpo. Nie dostałem się jakby co.
@straz_konsumencka: odblokujesz PW? Mam pytanie :)
- 4
Daily reminder, że musicie być w rejestrze, żeby superkomputery z zaawansowanymi algorytmami analizowały wszystko co robicie. Nakierowywać na taki sam tok myślenia żeby być bardziej przewidywalnym, żeby profilować pod was reklamy, opierające się na psychice ludzkiej, waszych potrzebach akceptacji i instynktach. Które są tworzone przez ludzi którzy nawet by tego pewnie nie robili, gdyby nie było to trochę lepiej płatne, bo zostali zaprogramowani od wczesnych lat żeby to robić. I tak się
@Lawsuit: spiseg
źródło: comment_1656288798reVVfIkF5bk4zSCB8hIT84.jpg
Pobierz
Treść przeznaczona dla osób powyżej 18 roku życia...
- 12
Udało mi się wreszcie lepiej zrozumieć jak efektywnie uczyć sieci typu GAN do generowania obrazów, więc postanowiłem podzielić się spostrzeżeniami i może oszczędzić komuś sporo czasu. Jak wiadomo ta architektura jest prawdopodobnie najtrudniejsza do debugowania a proces uczenia długi - no ale właśnie niekoniecznie. Jak się okazuje jednoczasowa propagacja wsteczna dla generatora i obu lossów dyskryminatora jest bardzo nieskuteczna. Lepiej rozbić to uczenie na 3 niezależne części - no ale wtedy czas
źródło: comment_1655938289GU2WRP43WYMF7A3scu6EUP.jpg
Pobierz@Bejro: Nie byłem konkretny. Chodziło mi o WGAN-GP (tutaj nie clipujemy wag tylko mamy penalty na gradiencie, przez co zachowany jest warunek 1-Lipschitzowosci) który ma znacznie stabilniejszy proces uczenia od tego standardowego lossu który przytaczas. W praktyce tez nie stosuje sie częstszego treningu krytyka od generatora. Idea WGAN jest to, ze ta funkcja kosztu ma bardziej informacyjne gradienty przez co generator nawet jak się bardzo myli to może się poprawić
- 0
@ejsap_kupno: Hinge loss jest bardzo podobny do crossentropy z logitów więc to takie cofnięcie się do czegoś co działało od funkcji W. Generalnie WGAN-GP wciąż robi to samo co WGAN ale w inny (lepszy) sposób. Jeśli używamy dyskryminatora z dużym dropoutem na tym samym wygenerowanym batchu to wirtualnie próbkujemy większy rozkład i zwiększamy generalizację - a to coś innego niż zapobieganie zanikaniu gradientów w WGANach.






















#studia #polibuda #informatyka #politechnika #nauka #datascience #pg #eti
Obczaj sobie program studiów na obydwu uczelniach i pójdź tam, gdzie podoba ci się najwięcej przedmiotów i będzie ci łatwiej