[inny_89]

Hey #scala
Macie może jakieś dobre tutoriale, dokumentację odnośnie implementacji ZIO ze #spark ?

Na głównym repo ziverge od zio-spark nie mogę dużo znaleźć, a znowu film Pana Leo Benkela bardzo mnie zaciekawił i chciałbym trochę bardziej zgłębić temat:

#apachespark #databricks

[inny_89]

A, i nie napisałem, ze chodzi o coś więcej / innego niż od Pana Leo xD

[inny_89]

Dobra Panowie. W sumie to już nie szukam bo dokumentacja Pana Leo jest wystarczająca plus jest aktywny na Discordzie ZIO.

Wpisu nie usuwam bo może kogoś to zainteresuje.

[gabonczyk]

@inny_89: o, ciekawa zajawka. zwykle piszę albo w jednym albo w drugim - ciężko by mi było przekonać team Sparkowy do ZIO. ma to ręce i nogi według ciebie?

[inny_89]

@inny_89: o, ciekawa zajawka. zwykle piszę albo w jednym albo w drugim - ciężko by mi było przekonać team Sparkowy do ZIO. ma to ręce i nogi według ciebie?

@gabonczyk właśnie generalnie u mnie w firmie mocno zrazili się do scali kiedyś jak z projektami startowali i teraz wszystko na pysparku leci

Moim zdaniem to ma jak najbardziej sens. Lepsze wykorzystanie zasobów klastra i większa asynchronicznosc taskow sprawi, że podobne joby

[gabonczyk]

@inny_89: ale widzisz jakąś przewagę w podejściu Spark + ZIO vs Spark JVM? w ogóle to bez udfów myślałem że performance pysparka jest i tak identyczny z JVMowych Sparkiem

[inny_89]

@gabonczyk: tak jak w tym filmiku opowiada Leo i pokazuje execution plan. Czysto teoretycznie ZIO + Spark powinien działać szybciej niż czysty Spark ale tylko przy założeniu, że masz trochę bardziej skomplikowany job, w którym executory muszą czekać na wzajemne wykonanie i masz jakieś IO z postgresem czy innymi plikami bo dostep do nich jest "zrównobieżniany" (ni cholery nie wiem jak to ująć po Polsku co pewnie świadczy raczej o mojej

[inny_89]

@gabonczyk: Jak przepisze mojego JOBa, o którym wspomniałem to podziele się tutaj statystykami. :D
Chyba, ze mnie uprzedzisz i uda Ci się zrobić dobry benchmark przede mną.
To wołąj wtedy mirku.

[gabonczyk]

@inny_89: spoko, sam jestem ciekawy. przed weekendem nie będę tego robił na pewno więc jak coś to wołaj

[inny_89]

@gabonczyk: Jeszcze CIę tutaj zawołam bo muszę przyznać, że szybko się nie zabiore za ogarnięcie tego przykłądowego pipeline (a przynajmniej nie przez następne 2 tygodnie) ale zagadałem do tego Leo na oficjalnym doscordzie ZIO.

Poniżej jego odpowiedź odnośnie performencu na IO więc trochę może dać to pogląd dlaczego ZIO na SParku może mieć sens.
Aczkolwiek martwi mnie, ze on takich benchmarków wcześniej nie zrobił xD