Dostałem mini task w robocie, powoli zaczynam jako Data Engineer. Muszę wygenerować kilka csv z kilku baz. Proces ma być cykliczny raz w tygodniu może nawet częściej. Jak najlepiej to zrobić? Stworzyć pipeline bazujac na 'Copy Data' activities? Czy pisać wszystko w synapsie/databrick i odpalać cały notebook. Jak coś pomyliłem to sorki, dopiero zaczynam z Data Factory.
#azure #datafactory #bigdata #azuredatafactory #adf #cloud
#azure #datafactory #bigdata #azuredatafactory #adf #cloud
@PiotrokeJ: Chyba w ADF prościej wyklikać, Databricksów bym użył do bardziej skomplikowanych operacji na danych. Sam od niedawna w tym grzebie, więc mogę się mylić.
Mam pętlę ForEach, w środku której kopiuje dane z jednej bazy do drugiej.
Czy jest jakaś opcja by podejrzeć, która tabela aktualnie się kopiuje?