Słuchajcie mam zagadkę. Z zakresu troche fanaberii i sci-fi.
Raczej mniej istotne tło problemu:
Tworzę sobie Wheela w #pythonie i do pełnego wykorzystania tej libki, którą zbuduje jest potrzebna inna libka udostępniana jako plik .JAR.
Lokalnie jak sobie z tym pracuje i odpalam kod w ramach mojego develpmentu na sparku to mam zwyczajnie załączony ten JAR w odpowiedniej lokalizacji i wskazuje go podczas budowania SparkSession. Tak jak na uproszczonym przykłądzie poniżej:
Raczej mniej istotne tło problemu:
Tworzę sobie Wheela w #pythonie i do pełnego wykorzystania tej libki, którą zbuduje jest potrzebna inna libka udostępniana jako plik .JAR.
Lokalnie jak sobie z tym pracuje i odpalam kod w ramach mojego develpmentu na sparku to mam zwyczajnie załączony ten JAR w odpowiedniej lokalizacji i wskazuje go podczas budowania SparkSession. Tak jak na uproszczonym przykłądzie poniżej:
spark
@inny_89 init scriptem
@Kura_Wasylisa zapomniałem dać znać, że
@ProfesorBigos naprowadził mnie na rozwiązanie. Wystarczy dołączyć zależności do wheela, razem zbudować i je później wykorzystać. Dziękuję Panie Profesorze!
@ProfesorBigos naprowadził mnie na rozwiązanie. Wystarczy dołączyć zależności do wheela, razem zbudować i je później wykorzystać. Dziękuję Panie Profesorze!
Macie może jakieś dobre tutoriale, dokumentację odnośnie implementacji ZIO ze #spark ?
Na głównym repo ziverge od zio-spark nie mogę dużo znaleźć, a znowu film Pana Leo Benkela bardzo mnie zaciekawił i chciałbym trochę bardziej zgłębić temat:
#apachespark #databricks
Chyba, ze mnie uprzedzisz i uda Ci się zrobić dobry benchmark przede mną.
To wołąj wtedy mirku.
Poniżej jego odpowiedź odnośnie performencu na IO więc trochę może dać to pogląd dlaczego ZIO na SParku może mieć sens.
Aczkolwiek martwi mnie, ze on takich benchmarków wcześniej nie zrobił xD
źródło: comment_1636121185N4s0Pmud1Qz7b7i3UG7SnK.jpg
Pobierz