@brightit: tak jest, kiedy próbujesz używać noSQL jako zastępnika bazy SQL. Do normalnych case raczej używa się SQL, a NoSQL do np. zbierania nieregularnych danych, które następnie wymagają np. analizy. Takimi nieregularnymi danymi mogą być np. logi.

@brightit: cassandra/dynamoDB sobie zobacz jesli nie znasz i elastic tez bardzo warto znac

@JesMan: wrzuć co trzeba zrobić

@programista5k2: Ogólnie ja bym szedł w TimescaleDB, bo to "tylko" rozszerzenie Postgresa, więc masz wszystko co w Postgresie + TSDB, czyli w 99.9% przypadków wystarcza do wszystkiego.

@automatykwformie: baza raczej nawet nie w pierdnie chyba że jest tego na prawdę dużo.
Jak dużo to widok indeksowany j/w albo wyliczanie tego do tabeli na boku przy użyciu trigerow create update delete

@rosso_corsa: najlepiej wizualizacje zmian na mapie (plamki) w czasie?
Zależy głównie co chcesz pokazać.

@rosso_corsa: Zrób zmienność jakości w czasie dla danej lokalizacji, zobacz czy ludzie dzielą to czym palą na wsad dzienny (czystszy) i nocny (brudny). Narzuć na to też dane o temperaturze i siłę wiatru. Postaraj się przewidzieć na podstawie takich danych jaka będzie jakość jutro oraz co ma największy wpływ - godzina, temperatura, wiatr?

@dzik_pl: strukturę*, literówka się wkradła. Poza tym fajny temat :)

@programista5k2: wszystkie zwracają zero rekordów ¯\_(ツ)_/¯

Pokaż spoiler

@programista5k2: wirtualka z linuxem i cassandra w dockerze to jedna komenda leniu ty :p

@programista5k2: read_logs, change_logs

@programista5k2: Po pierwsze załóż bazę Configuration, która będzie przechowywać zmiany, logi, i wszelkie dane, które nie podlegają dosłownej integracji a są np z góry ustalone, zidentyfikowane. Następnie w tej bazie stwórz schematy typu log, data, dics itd itd. Nie pytaj się o nazwę tylko pomyśl jak miałaby wyglądać cała struktura tak aby Tobie to ułatwiło pracę.

@inny_89: Z doświadczenia to całe zasilanie powinno się odbywać w dwóch krokach Source - Extract, Extract - Stage. Oczywiście mówię o hurtowni zasilanej raz na dobę nocną porą.

1. Source - Extract - truncate docelowych tabel i zasilenie ze źródła. Tak jest najszybciej. Nawet jak masz tabele do 100 mln rekordów. Z produkcji zasilamy dane tak szybko jak to jest możliwe.

2. Extract - Stage - zasilenie przyrostowe. I tu jużPokaż całość

@inny_89: https://stackoverflow.com/questions/38487667/overwrite-specific-partitions-in-spark-dataframe-write-method

Ustawia się to jedną linijką w configu:

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")

Wybacz też wysoki poziom abstrakcji przy opisywaniu założeń. :)

@inny_89: spoko, generalnie nie zajmuję się hurtowniami jako takimi i nie mam generalnie zbyt dużej wiedzy o pracy z nimi, za to coś tam technicznego ze sparka mogę pomóc ( ͡° ͜ʖ ͡°)

@AnonimoweMirkoWyznania: Obie drogi jakie rozważasz mogą być potencjalnie tak samo nudne jak to co teraz robisz. Sam robie w bazadanych ale jakoś administrator/helpdesk i tu jest jeszcze jakaś rozrywka bo nigdy nie wiesz na co klient wpadnie.
W mechanice może warto abyś rozejrzał się za jakimś projektowaniem - znajomy pracował w Instytucie lotnictwa w centrum projektowym dla GE i co kilka mce wyjazdy albo Anglia albo RPA(mieli kontrakty na instalacje doPokaż całość

@rosso_corsa: jak Warehouse obsługuje ten sam typ bazy danych to można próbować bez narzędzi, ale jak masz różne to pisanie narzędzia na nowo jest bez sensu. Wybierz jakieś gotowe

@rosso_corsa: Wszystko zależy jaki jest to ekosystem, kiedy został stworzony, jakie zapotrzebowanie itd.

Brałem udział przy pisaniu na nowo całego silnika DWH pod kontrentne zastosowanie. Czysta baza, t-sql, powershell i c#, więc wiem że się da to zrobić bez dodatkowych komponentów.

Czasem wykorzystuje się pojedyncze komponenty przy rozwiązaniach mających źródło kilkanaście lat temu. Np kilkuset terabajtowa farma oparta na pl-sql i kontrolerach napisanych w c. Do tego jakieś pudełkowe rozwiązania pilnujacePokaż całość

baza danych do csv? Musisz exportować każdą tabelę osobno.

@rosso_corsa: bulk export?

@Alodnog: Wybierz interesujące Cię rekordy ze strony w podzapytaniu i tam zrób asc/desc jak tam chcesz, a w nadrzędnym zapytaniu posortuj jeszcze raz po tym czym chcesz czyli po id. np.

select * from (
select SELECT * FROM users WHERE id < 1500 ORDER BY ID DESC LIMIT 10
) as pusr
order by pusr.id asc;

@zlack: migracja 1 do 1 zapewne nie ma sensu. Zbuduj sobie funkcjonalność bibliotek ma Sharepoincie, Teams Grupa office 365 per dział / projekt i pliki wrzucasz tam

Kiedy program który napisałeś zaczyna działać i nie wiesz czemu....

@oggy1989:

@bomba4: Nie wiem jak do końca działa limit w mysql ale najwidoczniej liczy rekordy podczas wykonywania zapytania co może faktycznie orać optymalizację. Z uwagi, że limit 0 podejrzewam, że liczy każdy rekord jaki zapytanie wypluwa, jeden po drugim.

Operowanie na zapytaniu zagnieżdżonym ustala już konkretną ilość rekordów i na końcu ogranicza. Jest to szybsze dla silnika. W prawie każdej swojej procedurze w pracbazie wykonuję takie zagnieżdżenia albo korzystam z tabel tymczasowych,Pokaż całość