@programista5k2: Ogólnie ja bym szedł w TimescaleDB, bo to "tylko" rozszerzenie Postgresa, więc masz wszystko co w Postgresie + TSDB, czyli w 99.9% przypadków wystarcza do wszystkiego.

@automatykwformie: baza raczej nawet nie w pierdnie chyba że jest tego na prawdę dużo.
Jak dużo to widok indeksowany j/w albo wyliczanie tego do tabeli na boku przy użyciu trigerow create update delete

@rosso_corsa: najlepiej wizualizacje zmian na mapie (plamki) w czasie?
Zależy głównie co chcesz pokazać.

@rosso_corsa: Zrób zmienność jakości w czasie dla danej lokalizacji, zobacz czy ludzie dzielą to czym palą na wsad dzienny (czystszy) i nocny (brudny). Narzuć na to też dane o temperaturze i siłę wiatru. Postaraj się przewidzieć na podstawie takich danych jaka będzie jakość jutro oraz co ma największy wpływ - godzina, temperatura, wiatr?

@dzik_pl: strukturę*, literówka się wkradła. Poza tym fajny temat :)

@programista5k2: wszystkie zwracają zero rekordów ¯\_(ツ)_/¯

Pokaż spoiler

@programista5k2: wirtualka z linuxem i cassandra w dockerze to jedna komenda leniu ty :p

@programista5k2: read_logs, change_logs

@programista5k2: Po pierwsze załóż bazę Configuration, która będzie przechowywać zmiany, logi, i wszelkie dane, które nie podlegają dosłownej integracji a są np z góry ustalone, zidentyfikowane. Następnie w tej bazie stwórz schematy typu log, data, dics itd itd. Nie pytaj się o nazwę tylko pomyśl jak miałaby wyglądać cała struktura tak aby Tobie to ułatwiło pracę.

@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu już możnaPokaż całość

@inny_89: https://stackoverflow.com/questions/38487667/overwrite-specific-partitions-in-spark-dataframe-write-method

Ustawia się to jedną linijką w configu:

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")

Wybacz też wysoki poziom abstrakcji przy opisywaniu

Pokaż całość

@AnonimoweMirkoWyznania: Obie drogi jakie rozważasz mogą być potencjalnie tak samo nudne jak to co teraz robisz. Sam robie w bazadanych ale jakoś administrator/helpdesk i tu jest jeszcze jakaś rozrywka bo nigdy nie wiesz na co klient wpadnie.
W mechanice może warto abyś rozejrzał się za jakimś projektowaniem - znajomy pracował w Instytucie lotnictwa w centrum projektowym dla GE i co kilka mce wyjazdy albo Anglia albo RPA(mieli kontrakty na instalacjePokaż całość

@rosso_corsa: jak Warehouse obsługuje ten sam typ bazy danych to można próbować bez narzędzi, ale jak masz różne to pisanie narzędzia na nowo jest bez sensu. Wybierz jakieś gotowe

baza danych do csv? Musisz exportować każdą tabelę osobno.

@rosso_corsa: bulk export?

@Alodnog: Wybierz interesujące Cię rekordy ze strony w podzapytaniu i tam zrób asc/desc jak tam chcesz, a w nadrzędnym zapytaniu posortuj jeszcze raz po tym czym chcesz czyli po id. np.

select * from (
select SELECT * FROM users WHERE id < 1500 ORDER BY ID DESC LIMIT 10
) as pusr
order by pusr.id asc;

@zlack: migracja 1 do 1 zapewne nie ma sensu. Zbuduj sobie funkcjonalność bibliotek ma Sharepoincie, Teams Grupa office 365 per dział / projekt i pliki wrzucasz tam

Kiedy program który napisałeś zaczyna działać i nie wiesz czemu....

@oggy1989:

@bomba4: Nie wiem jak do końca działa limit w mysql ale najwidoczniej liczy rekordy podczas wykonywania zapytania co może faktycznie orać optymalizację. Z uwagi, że limit 0 podejrzewam, że liczy każdy rekord jaki zapytanie wypluwa, jeden po drugim.

Operowanie na zapytaniu zagnieżdżonym ustala już konkretną ilość rekordów i na końcu ogranicza. Jest to szybsze dla silnika. W prawie każdej swojej procedurze w pracbazie wykonuję takie zagnieżdżenia albo korzystam z tabelPokaż całość

@dzik_pl: indexy ( ͡° ͜ʖ ͡°)

@ascirkn: czyli chcesz skasować rekord z tym id? Drugie zapytanie: delete from orders where id = $id

zrób sobie triggera, który przed delete from orders zrobi odpowiedniego inserta do oldorders