@LucaJune: tak naprawdę zależy co tam robisz tym notebooku. Ale generalnie chodzi o to, żeby to było w miarę logicznie podzielone. Żeby jasno było widać twój ETL/ELT flow i np. jeden notebook odpowiadał jednemu outputowi docelowemu (np. przetworzonej tabeli) Np. jeżeli masz jeden notebook w którym ładujesz 5 tabelek (wymiarów np.) po kolei no to trochę to jest źle. Lepiej zrobić to odzielnie bo np. wtedy w pipelinach jesteś w stanie
@LucaJune: nie wiem jaki wolumen danych, nie wiem czy to spark notebook czy sql notebook. No jeśli zapisywanie do adls2 trwa długo to musisz sprawdzić jaki masz storage ustawiony, może cold tier? I czy ten sam region przede wszystkim co synapse. No i czy dane są popartycjonowanie jakoś sprytnie i w jakim formacie. Jeden duży .csv to zły pomysł. Powinno być wiele parquetów. Ale zbyt wiele małych plików to również zły
Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestration w cloudzie jest takie se i brakuje mu wielu przydatnych usprawnień. Więc po prostu dodał Airflow do niego xD Też fajnie. W sumie po co konkurować z open sourcami, skoro można je zaimplementować i skosić za to kasę od przedsiębiorstw.

https://techcommunity.microsoft.com/t5/azure-data-factory-blog/introducing-managed-airflow-in-azure-data-factory/ba-p/3730151

#apacheairflow #airflow #etl #businessintelligence #azuredatafactory #azure
przecietnyczlowiek - Microsoft chyba zrozumiał, że jego narzędzie do ETL/ELT/orchestr...

źródło: large

Pobierz
Dostałem mini task w robocie, powoli zaczynam jako Data Engineer. Muszę wygenerować kilka csv z kilku baz. Proces ma być cykliczny raz w tygodniu może nawet częściej. Jak najlepiej to zrobić? Stworzyć pipeline bazujac na 'Copy Data' activities? Czy pisać wszystko w synapsie/databrick i odpalać cały notebook. Jak coś pomyliłem to sorki, dopiero zaczynam z Data Factory.
#azure #datafactory #bigdata #azuredatafactory #adf #cloud