Wpis z mikrobloga

#programowanie #gcp #bigquery
#airflow #composer

W dodatkowej robocie zostałem rzucony na wykonanie prostej automatyzacji. Zgodziłem się jednak po otrzymaniu dostępów wyszło że wszystko stoi na gcp, a skrypty są poszczane przez airflow. Nigdy nie pracowałem wiec idzie ciężej niż jak bym miał to puszczać na VMce.

Sprawa wygląda tak że mam tabelę z incydentami i operatorem BigqueryOperator sobie przeszukuje i wypluwam wyniki do nowej tabeli z wykorzystaniem "destinationdatasettable". Następnie pobieram dane BIgQueryGetData i je sobie obrabiam PythonOperatorem.

Teraz potrzebuje zrobić loopa który zrobi update (i wyśle maila ale to później) dla każdego rekordu znajdującego się w tabeli "testTable" zrobi update na głównej tabeli czyli data_log. Niestety nie ogarniam jak zrobić loopa z wykorzystaniem tych opreratorów.

Kod