Wpis z mikrobloga

Czym jest to słynne ETL w ofertach pracy? Ktoś mógłby mniej więcej określić co firmy mają na myśli i jakich umiejętności oczekują? Pracuję z SQLem, wybieram dane z ogromnych baz danych,, przetwarzam do pożądanej formy i wypluwam do excela. Czy to się pod to kwalifikuje?

#it #pracbaza #sql #bigdata
  • 27
  • Odpowiedz
@Arogancky Mnie trochę interesują ;D Ja co prawda jestem bardziej po prostu od BI, i klepania raportów ale przy przejściu na Snowflake też będę musiał korzystać z DBT i Airflow. Na razie mam mętlik trochę bo widzę że to co robiło się kilkoma kliknięciami w SQL Serverze to w zestawie Snowflake+DBT+Airflow będzie wymagało mnóstwo klepania. Ale może się mylę?
  • Odpowiedz
@czlapka: zależy od infry, ogarnięcia IT i w ogóle tego czy będziesz musiał klepać jakieś configi. Ogólnie na dzień dobry człowiek jest zagubiony ale wszystko do zaadoptowania. Jedyne co jest #!$%@? i to mega to DBT GUI. Po prostu człowiek co to robił to powinien dostać kontrolny strzał w tył głowy za obsługę GITa przez to GUI xD
Polecam od razu ogarnąć temat dbt cli ;)
no i wiadomo - GUI
  • Odpowiedz
@Arogancky Nie. Generalnie z domu ale biuro jakiś 1km od Warsaw Spire :D

Mi bardziej chodzi o takie rzeczy że w SQL Serverze mamy dużo rzeczy, jobow gdzie jest kilkanaście stepów typu pobierz dane z jednej tabeli, zjoinuj drugą i trzecią, przelicz dane, przetwórz i na koniec insertuj wyniki do kolejnej tabeli analitycznej i harmonogram że odpala się co 6 godzin, jak któryś krok failed to powiadomienie mailem i sms.

No i
  • Odpowiedz
@czlapka: no niestety, coś za coś jeśli chodzi o czas. Plus snow SQL trochę inny niż tSql. Wiem bo czasem przenoszę logikę pomiędzy :X ale tak - astro to kombajn trochę bo odpali Ci sproca ale też zrobi różne triggery w innych toolach. Dbt to po prostu coś dzięki czemu możesz reuzywac SQLa bo piszesz w jinja2 no i tworzysz konkretne modele danych od razu
  • Odpowiedz
@Arogancky Genralnie jeszcze tydzień temu bym nie rozumiał nic z tego co piszesz ale teraz przynajmniej tyle wiem :D No ale poziom wiedzy na razie koło 0.

No widzę że to może być przydatne mocno , na razie mam mętlik ale też fajnie się uczyć zupełnie nowych rzeczy

Widzę że się znasz to może będziesz wiedział.
Jak najlatwiej zrobić coś w stylu że mamy plik na Onedrive/Sharepoint, ładujemy go na stage S3
  • Odpowiedz
@czlapka: a po co S3? Ja bym spróbował coś w stylu pobranie z sharepointa i wrzucenie na SFa jeśli to jest jakiś json. Można by też sprawdzić czy snowflake nie ma jakichś własnych connectorow do sharepointa lub S3 i zrobić jakiegoś schedulera. Ale jeszcze się plikami nie bawiłem bo jak były takie taski to sie okazywało że można to zrobić inaczej ;)
  • Odpowiedz
@Arogancky To zwykła csv którą trzeba załadować jako tabele,ale jako proces. Folder na Onedrive gdzie ktoś będzie wrzucał csv kilka razy w miesiącu a "job" co kilka godzin sprawdzał czy jest nowy plik, jak tak to export do SF
No faktycznie może przekombinowuje, jutro na spokojnie pogooglam
  • Odpowiedz