@programista5k2: read_logs, change_logs

@programista5k2: Po pierwsze załóż bazę Configuration, która będzie przechowywać zmiany, logi, i wszelkie dane, które nie podlegają dosłownej integracji a są np z góry ustalone, zidentyfikowane. Następnie w tej bazie stwórz schematy typu log, data, dics itd itd. Nie pytaj się o nazwę tylko pomyśl jak miałaby wyglądać cała struktura tak aby Tobie to ułatwiło pracę.

@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu już możnaPokaż całość

@inny_89: https://stackoverflow.com/questions/38487667/overwrite-specific-partitions-in-spark-dataframe-write-method

Ustawia się to jedną linijką w configu:

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")

Wybacz też wysoki poziom abstrakcji przy opisywaniu

Pokaż całość

@AnonimoweMirkoWyznania: Obie drogi jakie rozważasz mogą być potencjalnie tak samo nudne jak to co teraz robisz. Sam robie w bazadanych ale jakoś administrator/helpdesk i tu jest jeszcze jakaś rozrywka bo nigdy nie wiesz na co klient wpadnie.
W mechanice może warto abyś rozejrzał się za jakimś projektowaniem - znajomy pracował w Instytucie lotnictwa w centrum projektowym dla GE i co kilka mce wyjazdy albo Anglia albo RPA(mieli kontrakty na instalacjePokaż całość

@rosso_corsa: jak Warehouse obsługuje ten sam typ bazy danych to można próbować bez narzędzi, ale jak masz różne to pisanie narzędzia na nowo jest bez sensu. Wybierz jakieś gotowe

baza danych do csv? Musisz exportować każdą tabelę osobno.

@rosso_corsa: bulk export?

@Alodnog: Wybierz interesujące Cię rekordy ze strony w podzapytaniu i tam zrób asc/desc jak tam chcesz, a w nadrzędnym zapytaniu posortuj jeszcze raz po tym czym chcesz czyli po id. np.

select * from (
select SELECT * FROM users WHERE id < 1500 ORDER BY ID DESC LIMIT 10
) as pusr
order by pusr.id asc;

@zlack: migracja 1 do 1 zapewne nie ma sensu. Zbuduj sobie funkcjonalność bibliotek ma Sharepoincie, Teams Grupa office 365 per dział / projekt i pliki wrzucasz tam

Kiedy program który napisałeś zaczyna działać i nie wiesz czemu....

@oggy1989:

@bomba4: Nie wiem jak do końca działa limit w mysql ale najwidoczniej liczy rekordy podczas wykonywania zapytania co może faktycznie orać optymalizację. Z uwagi, że limit 0 podejrzewam, że liczy każdy rekord jaki zapytanie wypluwa, jeden po drugim.

Operowanie na zapytaniu zagnieżdżonym ustala już konkretną ilość rekordów i na końcu ogranicza. Jest to szybsze dla silnika. W prawie każdej swojej procedurze w pracbazie wykonuję takie zagnieżdżenia albo korzystam z tabelPokaż całość

@dzik_pl: indexy ( ͡° ͜ʖ ͡°)

@ascirkn: czyli chcesz skasować rekord z tym id? Drugie zapytanie: delete from orders where id = $id

zrób sobie triggera, który przed delete from orders zrobi odpowiedniego inserta do oldorders

@yras8: możesz trzymać XMLe w Oraclu ( ͡° ͜ʖ ͡°) (XMLType)

@rosso_corsa: ta, wygląda jak autotłumacz. A chodzi o to, że nawet w directquery power bi cachuje dane i nie musi za każdym razem wysyłać zapytania do źródła gdy wybierasz np. jakiś slicer.

na tysiącu i 5000 krawędziach
@FinekPoker: może sumuje czas z każdego node'a :p

@lewsky: może łatwiej się im to parsuje, key może być nested key czyli np: user.balance.amount i trzyma sie to tego w jaki sposob definiuje sie inne operacje a tak to nagle z czaby bys miał wyjatek i array ?

@lewsky: https://stackoverflow.com/a/56721520/4183352

@programista4k: typem zwracanym powinna być lista - [Fren!]!

Co rozumiesz przez "jak zwrócić"? To już musisz samodzielnie zaimplementować, bo to co podałeś to tylko schema