Czym jest to słynne ETL w ofertach pracy? Ktoś mógłby mniej więcej określić co firmy mają na myśli i jakich umiejętności oczekują? Pracuję z SQLem, wybieram dane z ogromnych baz danych,, przetwarzam do pożądanej formy i wypluwam do excela. Czy to się pod to kwalifikuje?

#it #pracbaza #sql #bigdata
@FreakingAwesome: ETL czasem ELT to Extract transform and load. Mechanizm zasilania hurtowni danych, element Business Intelligence.
Jest to jeden z mechanizmow hurtowni danych, sluzy do jej zasilania sa narzedzia: SSIS, INformatica Power Center, Talend, Pentaho DI, ODI, i jeszcze kilka by sie znalazlo. Te sa najwazniejsze, posiadaja one GUI gdzie z elementow ukalda sie takie zasilanie danymi jako proces, od source przez transformacje do targetu. Sa tam predefiniowane "wtyczki" elementy do
  • Odpowiedz
W skrócie jak działa polityka PIS

- Sondaż CBOS, badanie poparcia, nastrojów ludzi

Jeśli poparcie rośnie:
- Wprowadzanie wyższych cen paliw, nowych podatków

Jeśli poparcie spada
- Wprowadzenie nowych danin

I tak w kółko.

To nie jest tak, że sami sobie coś wymyślają i wprowadzają na chybił trafił.
Big data to suka.
A wiemy, że w narodzie większość to debile.

Nie wierzę, że się z tego wygrzebiemy kiedykolwiek, bo im więcej danin,
@betteroff: kiedyś może tak. bez przekonywującej alternatywy nic nie da się zdziałać. w tym kraju albo głosuje się na PiS albo na mniejsze zło. a dla różnych ludzi mniejsze zło wygląda inaczej (trzeba liczyć się z tym, że czasami jest to też PiS).
  • Odpowiedz
Dostałem mini task w robocie, powoli zaczynam jako Data Engineer. Muszę wygenerować kilka csv z kilku baz. Proces ma być cykliczny raz w tygodniu może nawet częściej. Jak najlepiej to zrobić? Stworzyć pipeline bazujac na 'Copy Data' activities? Czy pisać wszystko w synapsie/databrick i odpalać cały notebook. Jak coś pomyliłem to sorki, dopiero zaczynam z Data Factory.
#azure #datafactory #bigdata #azuredatafactory #adf #cloud
@Lawsuit: przeciez to juz trwa od kilku lat, potem robia takie zaawansowane rzeczy jak w pic rel, a na wykopie doradzaja zeby sie nie pchac bez doktoratu z matematyki stosowanej ( ͡° ͜ʖ ͡°) i tak sie kreci kolo #!$%@?, aczkolwiek milo wejsc po pracy i poczytac pałowanie się dejta sajentystów, majac takich w pracy na wyciagniecie reki, widzac jak wyglada data science w p0lsce i jakie
peoplearestrange - @Lawsuit: przeciez to juz trwa od kilku lat, potem robia takie zaa...

źródło: comment_1650815817c60mY1Ck9xGXf0G64cXWhU.jpg

Pobierz
  • Odpowiedz
@Lawsuit: Ja mam taka teorie o korpo w Polsce. W latach 90 kiedy korpo wchodziły do PL potrzebni byli ludzie od zarządzania. Nie musiałeś nic umieć, byle mieć papier i znac pokracznie ale wystarczająco angielski, żeby prowadzić w tym kraju sprzedaż produktów analitycznych wyprodukowanych za granica. Lata 00. to zapełnianie się korpo prawdziwymi kocurami, którzy z marszu byli head of analytics, head of data coś tam, aktuariuszami. Stanowisk było niewiele wiec
  • Odpowiedz
Czolem #bigdata #dataengineering
Znacie jakieś pozycje książkowe/serię artykułów, które są biblią bigdata? Chodzi mi o wysoko poziomową prezentacje tematu, rodzaj wstępu zawierający może ogólne pojęcia tj data lake, etl, może ogólne przedstawienie narzedzi. Chciałbym zacząć iść w tą stronę, więc chce sprawdzić i podbudować swoje zrozumienie tematu
Dzięki z góry
  • Odpowiedz
@sidsfd: Na twitterze społeczność DS/ML jest bardzo aktywna. Część z nich to autorzy książek, twórcy kursów itd. Ostatnio jest trochę syfu ze względu na wojnę i kilku gości odjechało od tematu, ale polecam kilka profili:
- fchollet
- aureliengeron
- pythonengineer
- omarsar0
- Mark Tenenholtz
- Sebastian Raschka
- AlGrigor
- svpino
- _mharrison_

Pewną część wpisów to promocje książek i kursów, ale bardzo często można trafić
  • Odpowiedz
Witam wykopowiczów i wkopowiczki :)

Stoję przed wyborem studiów mgr, interesuje mnie data analysis. Inż robiobiony na PW z kierunku nie związanego z IT.
Mam rok przerwy od studiowania więc wykorzystuje czas na nauke data analysis we własnym zakresie (coursea, udemy). Ale czuje że samymi kursami nie zwojuję świata.
Pytanie do doświadczonym w boju analystów - czy lepiej iść na informatyke na PW czy kierunkek stricte pod zawód czyli big data na
Cześć Mirki. Interesuje mnie zdanie osób które robiły magisterkę z analizy danych na SGH. W szczególności chciałbym się dowiedzieć na ile trzeba znać matematykę żeby sobie tam poradzić. Czy osoba, która nie miała wcześniej do czynienia z matematyką wyższą jest wstanie to ogarnąć? Z góry dzięki za odpowiedzi. #sgh #analizadanych #bigdata
Wg mnie nie ma dużo nauki. Ja poszedłem na SGH po studiach inżynierskich (budownictwo) to byłem az zdziwiony jak mało pracy musiałem włożyc w studia w porównaniu z polibudą. Najtrudniejszy były przedmioty związane z SASem - duże projekty to zakodowania były.
Ale tak jak mówie - wiele przedmiotów wybierasz sobie sam, więc jak weźmiesz jakaś statystyke, ekonometrie itp to nakład pracy pewnie będzie większy. Ja wybieralem przedmioty bardziej związane z programowaniem, IT
  • Odpowiedz
HALOOS
Może byśmy wymyślili sobie jakiś open source i robili go razem dla zabawy i nauki.
Najchętniej coś z przetwarzaniem danych, BIG DATA tak zwane.

ja mogę zająć się backendem: usługami i streamowaniem, może też devopsowaniem.
przyda się jeszcze: 1-2 backendowców, 1-2 frontendowców, 1 devops, 1-2 inżynierów danych, 1 matematyk/analityk, 1 marketingowiec

ale w sumie to te roble możemy mieszać dla zabawy, zobaczmy jak wyjdzie.

#programowanie #bigdata #java #frontend
s.....u - HALOOS
Może byśmy wymyślili sobie jakiś open source i robili go razem dla ...

źródło: comment_1639443856GEIDFkd1HAACXf9Fx1urp8.jpg

Pobierz
Mirasy, znalazłem ofertę pracy z pic rel, pozycja nazywa się Junior Data Scientist - na jakie zarobki można tutaj liczyć, zakładając, że wchodzimy z entry-level, czyli mamy de facto 0 komercyjnego doświadczenia w Data Science? Zastanawiam się jakich rzędów mogą to być kwoty, jaki przedział byście rzucili będąc np. zaproszony na rozmowę kwalifikacyjną?

Oferta ze Standard Chartered.

#nieprogramowanie #kiciochpyta #datascience #analizadanych #pytanie #bigdata
ksiadzrobak12 - Mirasy, znalazłem ofertę pracy z pic rel, pozycja nazywa się Junior D...

źródło: comment_1637758035QNinszqlUSmzW2ypSTuyu1.jpg

Pobierz
Poszedłem z zerowym doświadczeniem komercyjnym na początek na miesiąc stażu do małej firmy (20-40 osób). Po miesiącu wszedłem na juniora i dostaje póki co koło 3,8k netto.
Ciekawy jestem jakie są widełki w dużych korpo na takich stanowiskach. Zakładam, że kasa wieksza
  • Odpowiedz
Czy są jakieś tematy w IT #informatyka, które są jeszcze blue ocean i gdzie mamy realne szanse na tak dynamiczny wzrost niczym np. cloud computing, gdzie rzeczywiście jest wartość?
AI/big data/machine learning #bigdata #machinelearning to dla mnie oczywisty overhype, ludzie myślą, że Pythonowe XGBoosty będą władać światem - wszystkie modele są fundamentalnie błędne.
Są #kryptowaluty i blockchain, ale dla mnie obecnie to niczym dotcomy, a mówiąc szczerze nie wiem gdzie w
XD Typie pytasz jaki obszar jest w kręgu zainteresowań firm, później wymieniasz 2 dosyć znaczące w PL i na świecie, następnie wyskakujesz z jakimiś błędnymi wnioskami co do technologii (bo pewnie widziałeś tylko jedno Z zastosowań) żeby na koniec samemu podsumować, że nie wiesz co zrobić.

Weź się za coś konkretnego np. Data engineering, sprawdź jakie jest parcie na ten temat i napisz kolejny post za pół roku.
  • Odpowiedz
W pracy mam projekt gdzie pracujemy na Hadoop, Hive, Apache NiFi, Pysparku i Tableau. Mam pewien task do zrobienia: odpalać shellowy skrypt jeżeli tabela w bazie danych zostanie zaktualizowana. Jest jakiś processor w nifi który nasł#!$%@? i sprawdza czy wpadły nowe rekordy do tabeli? Nie wiem jak to zrobić, nie chce odpalać zapytania sql co minutę i sprawdzać ilość rekordów. Czy jest coś lepszego co mogę użyć?

#programowanie #bigdata #dataengineering
#nifi
Hej #programowanie!

Mam pytanko odnośnie diagramu ER. Robię sobie scrapper do otomoto tak żeby się pouczyć bajek i pythona. No i zrobiłem sobie taki diagram i teraz mam co do niego kilka pytań. Czy powinienem wydzielać do osobnych tabeli model i markę samochodu? Bo mogę mieć to w tabeli samochód no ale wtedy dużo razy się to będzie powtarzać, ale za to unikam tych dodatkowych joinów (chciałbym żeby było optymalnie). I
@TheRickestRick: nie-tabela z wyposażeniem wbrew pozorom nie jest stała a zapytania w otomoto nie są zawsze rodzaju "jakie wyposażenie ma samochód x". Lepiej zrobić zwyczajną tabelę z dostępnymi wyposażeniami i relację wiele do wielu z samochodami.
  • Odpowiedz
@Zbiglondo: w erze Windowsa 10 (w miarę dopracowanego ale śledzącego Cię niesamowicie) oraz Windowsa 11 (nowość, przełom - ale jesteś testerem użytkowniku końcowy no i śledzimy Cię jeszcze bardziej) mam wrażenie, że ludzie zapomnieli o jeszcze jednym - wciąż aktualnym systemie Windows, mianowicie: Windows 8.1 . Był to tzw system przejściowy, ale dzięki temu bliżej mu do Windowsa 7 niż Windowsa 10.

Jeśli chodzi o śledzenie - owszem, nie jest to