[przecietnyczlowiek]

Chciałbym zamiast BI/ETL developerem, zostać Data Engineerem. Czego powinienem się uczyć?

Co umiem:
-SQL, T-SQL
-ETL toole (Azure Data Factory, SSIS i inne)
-Raportowanie: Power BI, Excel, Tableau, Reporting Services
-trochę PowerShell
-projektowanie i modelowanie hurtowni danych
-biznesowo rozumiem m.in. finansówkę, inventory, sprzedaż, zakupy (umiem zrobić PnL, wiekowanie zapasów, multi currency etc.)
-specyfika różnych systemów ERP
-podstawy pythona

Czego powinienem się uczyć?
-?
-?
-?

Czego się uczę obecnie
-Python: pandas
-Airflow
-Databricks i PySpark

Jakie wrażenia obecnie?
Czuje trochę sporą learning curve związaną z nauką samego programowania. Z drugiej strony okazuje się, że moje umiejętności z Business Intelligence nie są aż przydatne, a głównie czuję nacisk na ogarnianie jakichś linuxów, dockerów (Airflow) i samo kodowanie. Czyli wychodzi na to, że najpierw muszę zostać programistą, a potem mogę być Data Engineerem?

#dataengineering #programista15k

[o.....a]

@przecietnyczlowiek: snowflakes?

[GaiusBaltar]

@przecietnyczlowiek: Moim zdaniem Linux - tj. ogólna znalomość systemów unixowych tak, aby dostać dostęp przez SSH do czegoś, i nie panikować kiedy trzeba wykonać kilka komend, coś przepajpować i następnie posłać wyniki do SQLowej (lub nie) bazy danych.

Aktualnie sam szukam kogoś kto nadaje się do tematów bazodanowych. Coś pomiędzy Data Engineer a Business Analyst. W każdym razie, stack większości zintegrowanych u mnie systemów jest mocno linuksowy, i taki pozostanie.

[GaiusBaltar]

@przecietnyczlowiek: Jeszcze w temacie, przypomniał mi się (już trochę stary) dowcip w dziedzinie przetwarzania danych na Linuksie.

Kierownik do sekretarki:
Pani Zosiu, czy może Pani przegrać naszym partnerom wyniki za kwiecień, oni zaraz podejdą.
- Dzień dobry, czy to Panom mam przegrać wyniki miesięczne?
- Dzień dobry, tak, nam, gdyby była Pani uprzejma, tu mamy

[E.....e]

@przecietnyczlowiek: https://awesomedataengineering.com/

Do tego dorzucę Gita (prosta sprawa akurat), podstawy Linuxa, ogarnąłbym sobie podstawy clouda np. zrób certa Azure Data Fundamentals (wbij się na microsoftowe virtual training day i dostaniesz voucher za darmo)

[n0c0Mpr3h3nD]

@przecietnyczlowiek: naucz się w robocie która ci za to zapłaci. Wydaje mi się że moja firma mogłaby cie zatrudnić

[c.....s]

@przecietnyczlowiek: i udalo Ci sie?

[przecietnyczlowiek]

@cohontes: tak pół na pół. Formalnie dalej jest BI/ETL. Ale projekty za to bardziej data lejki, parquety i sparki. A jak zaraz wpadnie coś z MS Fabric to będę mógł robić na wiele sposóbów.

[c.....s]

@przecietnyczlowiek: czyli to samo korpo?

[przecietnyczlowiek]

@cohontes: tak, ale raczej software house niz korpo