[Gieremek]

Są w Krakowie (lub remote) jakieś firmy które zatrudniają Data Engineerów bez kilku lat expa komercyjnego w Big Data / Sparku / Databricks?
Patrząc na oferty to strasznie hermetyczna branża
#dataengineering

[cohontes]

@Gieremek: a co umiesz w takim razie?

[Gieremek]

@cohontes: T-SQL, Python, Azure bez Big Data

[cohontes]

@Gieremek: i serio nic nie ma? Databricksa możesz ogarnąć mniej więcej korzystając z wersji community. Pysparka to już dowolnie, a jednak trzeba coś tam znać.

[Gieremek]

@cohontes: taki jest plan na najbliższe tygodnie/miesiące. PySpark, Databricks i DP-203 od Microsoftu żeby ładnie wyglądało w CV ( ͡° ͜ʖ ͡°)

[cohontes]

@Gieremek: z mojego doświadczenia nikt nie spojrzał na 203. A mam go od 2022 gdzieś W sensie nawet na rozmowach nie było miejsca by się pochwalić

[Gieremek]

@cohontes: i tak zrobię sam dla siebie, choćby po to by sobie utrwalić Azure Big Data Stack.
No i jak firma daje budżet szkoleniowy to żal nie zużyć ( ͡° ͜ʖ ͡°)

[ElMatadore]

@Gieremek: DP-203 to jak patrzyłem na exam guide w większości Synapse który generalnie ma złą sławę w community, pokuszę się że o stwierdzenie że to najgorsze cloudowe DWH z top 5 z różnych powodów (sam dużo tego nie używałem i nie mam mocnej opinii, bazuję na tym co czytałem i obserwuję). Do tego Microsoftowe examy łatwo obkuć z dumpów. Ale niektóre korpo to lubią.

Znajomość Sparka oraz powiązanych zagadnień to jest

[Gieremek]

@ElMatadore: niestety budżet szkoleniowy mam tylko na Azure, wiec biorę co dają.
A ty które examy byś brał?

[cohontes]

@Gieremek: zrób ten 203 i tak, bo poznasz kilka rzeczy które i tak musisz znać. Ale tak jak @ElMatadore napisał tam jest głównie Synapse, gdzie jednak nie wykorzystujesz tego aż tak. Firma ogólnie korzysta u was z Databricksa jakkolwiek? bo może załapiesz się chociaż na learning i fundamentals lakehouse'a

[ElMatadore]

@Gieremek: jak daja na Azure to rob te DP-203

Tylko jedzcze jedna wada, te certy sa wazne tylko na rok (z innych vendorow jest zazwyczaj 2 minimum)

[Gieremek]

@ElMatadore: racja, ale przedłużanie jest za free więc jedynie czasu trochę będę musiał poświęcać cyklicznie

[Gieremek]

Firma ogólnie korzysta u was z Databricksa jakkolwiek? bo może załapiesz się chociaż na learning i fundamentals lakehouse'a

@cohontes: moja firma nie robi w ogóle w DE i używa co najwyżej ADF. Certy robię na przyszłość, bo wiem że wiecznie tu siedział nie będę

[peoplearestrange]

@ElMatadore: niby ma złą sławę w community, a robię już u trzeciego klienta z rzędu, gdzie albo wystawia się widoki w synapse albo materializuje w owym i/lub pipeline też zbudowana w synapse, a na chęci "fabrica" architekt pyta "co da nam fabric, czego nie można zrobić w tym projekcie w synapse ze spark poolem?", także uważam, że dalej jest to standard, zwłaszcza tam gdzie nie ma databricks, a i tam gdzie

[ElMatadore]

@peoplearestrange: sporo firm juz tak ma ze sie przyssalo do Azure'a na dobre i za malo jest biznesowej woli by to zmienic. Stawiam ze spora przewaga w tym tez tego, ze w stacku Microsoftowym mozna bardzo duzo zrobic po prostu wyklikujac/piszac SQLe w przeciwienstwie do niektorych data stackow