studiował ktoś może inżynierię danych w j. ang na #politechnikagdanska albo informatykę stosowaną na #politechnikalodzka i może coś więcej powiedzieć? Rozważam te dwie opcje, ale nie wiem co będzie lepszym wyborem. Są bardzo trudne? Warto? Jak z ang na inżynierii danych? Chętnie posłucham jakichkolwiek opinii

#studia #polibuda #informatyka #politechnika #nauka #datascience #pg #eti
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@mamalev2: Powiem tak, w IT papier nie ma jakiegoś dużego znaczenia
Obczaj sobie program studiów na obydwu uczelniach i pójdź tam, gdzie podoba ci się najwięcej przedmiotów i będzie ci łatwiej
  • Odpowiedz
Staram się rekrutować z juniora na mida i na razie idzie mi słabo. Czy ja mam jakiegoś pecha, czy po prostu jestem jeszcze zbyt słaby? To o czym piszę o rekrutacjach poniżej to normalka? (Nie odbyłem jakoś dużo technicznych w mojej karierze)
Aplikuję na stanowisko data engineera, czyli generalnie bazki danych, SQL i Python. Problem jaki obserwuję jest taki, że każda firma ma swoją definicję stanowiska, w które mierzę, jedne szukają tego data
  • 23
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ElMatadore: Brzmisz jakbyś liznął trochę relacyjnych baz danych, SQL i pythona. Jak to ma pozwolić ci być midem? Nikt cie nie będzie pytał o internale cassandry, mongo, czy jakiejkolwiek bazy relacyjnej. Po prostu poziom twojej wiedzy jest niski jeżeli to jedyne co potrafisz. Nie ogarniasz zadanek leetcodowych, znasz jakieś proste rzeczy typu SQL, czy CAP. No i do tego Python, który notabene jest naprawdę prostym językiem programowania. Masz dwie opcje,
  • Odpowiedz
z ciekawości, pracuje ktoś w PL na UOP i jednocześnie w pełni zdalnie dla zagranicznej firmy na jakąś cząstkę etatu w #analizadanych?
- jak znaleźliście te druga prace? ogłoszenie w internecie?
- ile lat doświadczenia mieliście przy aplikowaniu?
- nie ma problemów z rozliczeniem takich dochodów?
- skąd firma, jakie zarobki?
- jakie
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#datascience

Cześć potrzebuje pomocy z Clusteryzacja Kmeans w pysparku. Potrzebuje by jedna zmiana z 31 miała większa wage przy tworzeniu klastrów niż inne - w jak sposób to mogę zrobić.

Kmeans=(featurescol=features, k=6, weightCol=???)

Ktoś ma pomysł co tam dać w tym weightCol? Niby wymaga żeby podac string i nie mam pojęcia jak tego użyć. Dodam tylko ze w pysparku zmienne są w vectorze. Każda pomoc się przyda.
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Chcę sobie kupić książkę "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. 2nd Edition".
Początkowo planowałem wersję po angielsku, aby lepiej ogarnąć nazewnictwo. Z jakiegoś jednak powodu, gdy szukam w sklepach to wersja angielska kosztuje około 250-300 zł, a polska 80 zł.
No i nie bardzo to rozumiem, wydaje mi się, że są to te sam wersje, skąd więc to rozbieżności? Ktoś wie o co chodzi?

#datascience #python
Ardeo - Chcę sobie kupić książkę "Hands-On Machine Learning with Scikit-Learn, Keras,...

źródło: comment_16581572002fLuNRzWxIlkppwY5eoaWx.jpg

Pobierz
  • 15
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#datascience

Hej Mirki, tak sobie dlubie proste ETL w #pandas #numpy #python i glowkuje jak tu skrocic czas ladowania trzech duzych (1GB kazdy 900k x 200) CSV. Jedyne co przychodzi mi jeszcze do glowy to dorzucenie multiprocesingu bo duzo sie dzieje, z %pruna widze ze w tej chwili CPU jest waskim gardlem. Probowalem w prymitywny sposob zaladowac to w multi rozrzucajac kazdy plik na osobny
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

bawił się ktoś może w robienie customowego monitoringu dla Airflow?
medytuję nad naklepaniem jakiegoś dashboarda który będzie zbierał statusy wykonania DAGów i pokazywał wszystko w jednym miejscu, tylko jeszcze nie wiem czy to sensowny pomysł (bo cuda niewidy pan hindus czasem robi z naszą instancją ) a nie jestem ownerem i nie chce mi się ręcznie klikać ( ͡° ͜ʖ ͡°)
czyli - jaaaaakby ktoś "been there done
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Dodaję mirkowpis bo znalezisko nie dostało należytej uwagi, a mam do polecenia fantastyczny link dla wszystkich z #naukaprogramowania #machinelearning. Na https://today.bnomial.com/ codziennie publikowane jest jedno pytanie/historyjka w temacie sztucznej inteligencji/data science i jest to doskonałe uzupełnienie kursów o realne przypadki kiedy z modelem jest coś nie tak - z czego to może wynikać i jak spróbować to naprawić.

#programowanie #datascience #sztucznainteligencja
Networks_PowerCat - Dodaję mirkowpis bo znalezisko nie dostało należytej uwagi, a mam...

źródło: comment_16573896439cWMCG3lzH4GWsSRp0Lo08.jpg

Pobierz
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Tasartico7: Żartujesz? Matematyki tylko trochę więcej niż na backendzie?
To jest jakaś opinia urwana z choinki.
W DS każdy algorytm oparty jest na matmie. Żeby zrozumieć najprostsze lasso już trzeba co nieco się orientować w matematycznych znaczkach. Już nie mówie o algorytmach pokroju sieci neuronowe czy transformery.

U mnie w firmie głownie przyjmują do działy analyst matematyków i później uczą ich programowania. Sam kończyłem bardziej informatyczny kierunek i teraz moją
  • Odpowiedz
Jakich pytań z #python mogę się spodziewać na rozmowie technicznej aplikując na mida data engineera? Jestem umówiony na już 2 rozmowy techniczne, na jednej ma być live coding głównie z Pythona i czuję przed nim stres (wiem czego mniej więcej się spodziewać po SQL'u i innych częściach).

Czy mam się spodziewać pytań o algorytmikę? Bo robię sobie zadanka na leetcode i mówiąc szczerze jestem sobą rozczarowany xD

#programista15k
  • 13
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@doctor07: to tez zalezy, wybierajac na przyklad sieci i cisco, uczysz sie z ksiazek i materialow wydanych przez cisco. Egzaminy z rozdzialow i w dniu labow, tez sa wykonywane w cisco academy, wiec w tym wypadku jakosc materialow jest na dosc wysokim poziomie.
  • Odpowiedz
@pustelnikk: też byłem tam z 8 lat temu i część techniczna rekrutacji wyglądała jak kolokwium. Dodałem kserówke z zadaniami. Jeszcze spotkanie z HRem, tylko nie takie łupie bezsensowne ale z psychologiem który ocenia czy będziesz dobrym szczurem w korpo. Nie dostałem się jakby co.
  • Odpowiedz
Daily reminder, że musicie być w rejestrze, żeby superkomputery z zaawansowanymi algorytmami analizowały wszystko co robicie. Nakierowywać na taki sam tok myślenia żeby być bardziej przewidywalnym, żeby profilować pod was reklamy, opierające się na psychice ludzkiej, waszych potrzebach akceptacji i instynktach. Które są tworzone przez ludzi którzy nawet by tego pewnie nie robili, gdyby nie było to trochę lepiej płatne, bo zostali zaprogramowani od wczesnych lat żeby to robić. I tak się
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Udało mi się wreszcie lepiej zrozumieć jak efektywnie uczyć sieci typu GAN do generowania obrazów, więc postanowiłem podzielić się spostrzeżeniami i może oszczędzić komuś sporo czasu. Jak wiadomo ta architektura jest prawdopodobnie najtrudniejsza do debugowania a proces uczenia długi - no ale właśnie niekoniecznie. Jak się okazuje jednoczasowa propagacja wsteczna dla generatora i obu lossów dyskryminatora jest bardzo nieskuteczna. Lepiej rozbić to uczenie na 3 niezależne części - no ale wtedy czas
Bejro - Udało mi się wreszcie lepiej zrozumieć jak efektywnie uczyć sieci typu GAN do...

źródło: comment_1655938289GU2WRP43WYMF7A3scu6EUP.jpg

Pobierz
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Bejro: Nie byłem konkretny. Chodziło mi o WGAN-GP (tutaj nie clipujemy wag tylko mamy penalty na gradiencie, przez co zachowany jest warunek 1-Lipschitzowosci) który ma znacznie stabilniejszy proces uczenia od tego standardowego lossu który przytaczas. W praktyce tez nie stosuje sie częstszego treningu krytyka od generatora. Idea WGAN jest to, ze ta funkcja kosztu ma bardziej informacyjne gradienty przez co generator nawet jak się bardzo myli to może się poprawić
  • Odpowiedz
@ejsap_kupno: Hinge loss jest bardzo podobny do crossentropy z logitów więc to takie cofnięcie się do czegoś co działało od funkcji W. Generalnie WGAN-GP wciąż robi to samo co WGAN ale w inny (lepszy) sposób. Jeśli używamy dyskryminatora z dużym dropoutem na tym samym wygenerowanym batchu to wirtualnie próbkujemy większy rozkład i zwiększamy generalizację - a to coś innego niż zapobieganie zanikaniu gradientów w WGANach.
  • Odpowiedz