Dostałem mini task w robocie, powoli zaczynam jako Data Engineer. Muszę wygenerować kilka csv z kilku baz. Proces ma być cykliczny raz w tygodniu może nawet częściej. Jak najlepiej to zrobić? Stworzyć pipeline bazujac na 'Copy Data' activities? Czy pisać wszystko w synapsie/databrick i odpalać cały notebook. Jak coś pomyliłem to sorki, dopiero zaczynam z Data Factory. #azure #datafactory #bigdata #azuredatafactory #adf
@PiotrokeJ: Chyba w ADF prościej wyklikać, Databricksów bym użył do bardziej skomplikowanych operacji na danych. Sam od niedawna w tym grzebie, więc mogę się mylić.
#azure #datafactory #bigdata #azuredatafactory #adf