Jak się najlepiej nauczyć databricksów? Jest może jakiś interaktywny kurs online (płatny)? Póki co probuję z community.databricks.com, ale problem mam taki (poza tym że musze od nowa cały czas tworzyć klastry), że nie mogę używać workflows czyli generalnie stworzyć nic co bym chciał.
#databricks
  • Odpowiedz
@gabonczyk: Jak przepisze mojego JOBa, o którym wspomniałem to podziele się tutaj statystykami. :D
Chyba, ze mnie uprzedzisz i uda Ci się zrobić dobry benchmark przede mną.
To wołąj wtedy mirku.
  • Odpowiedz
@gabonczyk: Jeszcze CIę tutaj zawołam bo muszę przyznać, że szybko się nie zabiore za ogarnięcie tego przykłądowego pipeline (a przynajmniej nie przez następne 2 tygodnie) ale zagadałem do tego Leo na oficjalnym doscordzie ZIO.

Poniżej jego odpowiedź odnośnie performencu na IO więc trochę może dać to pogląd dlaczego ZIO na SParku może mieć sens.
Aczkolwiek martwi mnie, ze on takich benchmarków wcześniej nie zrobił xD
inny_89 - @gabonczyk: Jeszcze CIę tutaj zawołam bo muszę przyznać, że szybko się nie ...

źródło: comment_1636121185N4s0Pmud1Qz7b7i3UG7SnK.jpg

Pobierz
  • Odpowiedz
Słuchajcie mam zagadkę. Z zakresu troche fanaberii i sci-fi.

Raczej mniej istotne tło problemu:

Tworzę sobie Wheela w #pythonie i do pełnego wykorzystania tej libki, którą zbuduje jest potrzebna inna libka udostępniana jako plik .JAR.
Lokalnie jak sobie z tym pracuje i odpalam kod w ramach mojego develpmentu na sparku to mam zwyczajnie załączony ten JAR w odpowiedniej lokalizacji i wskazuje go podczas budowania SparkSession. Tak jak na uproszczonym przykłądzie poniżej:

spark
Panowie drodzy,
Potrzebuję drobnego wsparcia i dobrej rady z zakresu #databricks #scala #databricks-connect

Już opisuje problem:
Chcę zbudować JAR z projektu sbt utworzonego lokalnie przy wykorzystaniu databricks-connect i później uruchomić ten JAR w jobie na clustrze #azure Databricks.
Chciałem z poziomu lokalnego projektu, który sobie pisze w Intellij dobrać się do komponentu KeyVault na moim koncie Azure, żeby przeczytać Secrets tam zapisane.
Żeby to zrobić muszę najpierw w projekcie podać token,
  • Odpowiedz
#programowanie #szkolenia #pracbaza
Hej przyjaciele,
W moim januszsofcie mamy taki dobrobyt, że raz w roku mam możliwość wybrania sobie jakiejkolwiek konferencji na, którą chcemy sobie pójść. Wchodzi w to lot, hotel, bilety itp.
Dogadałem się z moim przełożonym, że w tym roku nie chce nigdzie lecieć i może mógłbym ten budżet przeznacozny na mnie wykorzystać inaczej. Padła propozycja, że mogę pójść na jakieś dowolne szkolenie z zakresu IT/programowania/architektury cloudowej.

No i tutaj
#programowanie dla atencji: #programista15k

Koledzy i koleżanki,
Mam problem dotyczący #azure #databricks. Będzie dłuższy wpis.

Mam postawiony cluster na Azur Databricks, do którego chciałbym się łączyć i pracować z kodem/notebookami zdalnie z mojego laptopa przez IDE.

Tutaj pada pytanie czy jest jakikolwiek sposób na łączenie się z clustrem Databricks na Azurze NIE wykorzystując do tego Databricks Connect - nie chce go uzywać dlaczego nie chce go używać napisze poniżej.

Nie chce
  • Odpowiedz