[FreakingAwesome]

Czym jest to słynne ETL w ofertach pracy? Ktoś mógłby mniej więcej określić co firmy mają na myśli i jakich umiejętności oczekują? Pracuję z SQLem, wybieram dane z ogromnych baz danych,, przetwarzam do pożądanej formy i wypluwam do excela. Czy to się pod to kwalifikuje?

#it #pracbaza #sql #bigdata

[Arogancky]

@FreakingAwesome: po części. Pracuję jako ETL / Python od paru miesięcy, ciekawa robota ( ͡° ͜ʖ ͡°)

[Arogancky]

@FreakingAwesome: chociaż pytanie co rozumiesz przez "ogromne bazy danych"

[masterix]

@Arogancky: i co dokładnie robisz?

[FreakingAwesome]

@Arogancky hm, dużo zmiennych, dużo tabelek, dużo rekordów xD

[gabonczyk]

@FreakingAwesome: zależy ile masz danych na wejściu. koło petabajta dziennie to u mnie w projektach standard

[FreakingAwesome]

@gabonczyk hm, ja się nie znam xD nie wiem ile to waży, ale są tabelki w których jest np. po 20 zamiennych i 20 mln rekordów

[Arogancky]

@masterix: @FreakingAwesome: hurtownia danych - snowflake.
Z pamięci najczęściej używane rzeczy to: DBT, flyway, pyton, astronomer.
Przenoszenie martów z onprema na snowflake, wdrażanie nowych rozwiązań i rozbudowa istniejących (czyli standard) - czyli że klepanie nowych lub modyfikacja starych logik do tabelek w zależności co sobie biznes zażyczy. Pisanie jakichś testów żeby pokazać że to co robię to w ogóle działa jak powinno. Ogólnie temat rzeka bo często różnie to może

[barman84]

@FreakingAwesome: fajne hasło "ETL" - może oznaczać: używamy FME, ale jeśli ktoś zna Talend, Camel, Pentaho - to w tydzień się przestawi.

[gabonczyk]

@FreakingAwesome: tyle do nas wchodzi co minutę mniej więcej

[FreakingAwesome]

@gabonczyk co to za dane xd? Jeśli można wiedzieć

[przecietnyczlowiek]

@FreakingAwesome: po prostu przetwarzanie danych, najczęściej z baz danych za pomocą dedykowanych narzędzi opartych na sql/pythonie typu airflow, ssis, informatica powercenter itd.

[gabonczyk]

@FreakingAwesome: różnie, zależy od klienta. przykładowo ruch na stronie jednej z dużych amerykańskich firm

[Matis666]

@FreakingAwesome:skrót pochodzi od Extract, Transform, Load więc umiejętności w zakresie łączenia się z dbmsami, pisanie kodu żeby wyciągnąć coś z danych i migracja danych, więc tak, kwalifikuje się xD

[Arogancky]

@przecietnyczlowiek: i #!$%@? na wydajność narzędzi, to bardzo istotna część tego stanowiska!

[technocratus]

@FreakingAwesome: ETL czasem ELT to Extract transform and load. Mechanizm zasilania hurtowni danych, element Business Intelligence.
Jest to jeden z mechanizmow hurtowni danych, sluzy do jej zasilania sa narzedzia: SSIS, INformatica Power Center, Talend, Pentaho DI, ODI, i jeszcze kilka by sie znalazlo. Te sa najwazniejsze, posiadaja one GUI gdzie z elementow ukalda sie takie zasilanie danymi jako proces, od source przez transformacje do targetu. Sa tam predefiniowane "wtyczki" elementy do

[Arogancky]

Ogolnie fajny temat, duzo smaczkow, praca z ogromnymi setami danych, zasilania w nocy, maintetance rozwiazania i troubleshooting jest ciekawym zagadnieniem.

@technocratus: dla mnie największym smaczkiem to było DBT a zaraz potem sproce dla SFa w którym się używa javy lub javascript (ʘ‿ʘ)

[FreakingAwesome]

@technocratus hm, dziękuję za obszerne wyjaśnienie. Więc właściwie to ja chyba jestem po drugiej stronie barykady w takim razie. Mam już te dane ściągnięte do bazy danych i je przetwarzam, ale raczej pod data science się to jeszcze nie kwalifikuje, jestem chyba po prostu klepaczem sqla xD hm

[masterix]

modyfikacja starych logik do tabelek w zależności co sobie biznes zażyczy.

@Arogancky: a możesz dać jakiś use case z życia wzięty? Może być też na priv. Sam siedzę jako developer, ale raczej aplikacje fintech obecnie i jestem ciekawy jak to się różni

[Arogancky]

@masterix: hmm, ogólnie to logistyka więc rzeczy typu zamówienia: cel, gdzie przeładunek, kiedy załadunek, kiedy dostawa, jakieś dane klientów, typ ładunku ;) czasem czym wiezione. Ceny oczywiście i inny szajs. Na koniec wszystko łączone w marty / dimensional tables.
Ogólnie to w tej pracy produktem jest często widok lub tabelka, więc nie zawsze praca jest widoczna ;)

[Arogancky]

@masterix: a jak interesują Cię jakieś szczegóły techniczne to pisz na pw :D