[Zalazdi]

Planuję przepisać swój dogemonitor.com na Node.JS (i Socket.IO). Myślę, że większość potrzebnych danych będę trzymał w pamięci. Jednak potrzeba jest też archiwizowania wszystkich transakcji z giełd do bazy danych. Na chwilę obecną (3 tygodnie pracy serwisu) baza danych ma 650 tys wierszy i waży 100MB.

I rodzi się pytanie. Co może być do takich danych lepsze? Jakiś NoSQL?

#webdev #programowanie #bazydanych #sql

[Zaszczyk]

#tylkopostgresql

[Zalazdi]

@Zaszczyk: Tak, myślałem o nim. Wydajnościowo może ciut lepiej będzie. Ale chcę jeszcze dowiedzieć się, czy może jakiś system NoSQL w tym przypadku lepiej by się mógł sprawdzić.

[Hauleth]

@Zalazdi: Raczej są to proste dane, więc może Couch lub Mongo? A jeśli chcesz trzymać w pamięci to najlepiej Redis.

[Zalazdi]

@Hauleth: Mongo... Możliwe. Dane wyglądają tak jak na screenie (jeśli chodzi o transakcje). Jeśli chodzi o dane dla wykresów - 5 floatów przypisanych do jednego datetime/timestamp.

[a.....r]

@Zalazdi: Redis (jeśli dane mają przeżyć restart serwera to w trybie zapisu na dysku).

[Zalazdi]

@archlinuxuser: Będę musiał porównać te systemy, co będzie bardziej wydajne w tym przypadku.

[a.....r]

@Zalazdi: Na pewno Reids - dlaczego? Bo działa na strukturach tylko w pamięci. Tylko trzeba dobrze zaplanować "schemat" bazy, bo w przypadku Redisa to nie jest typowy graf albo klucz-wartość.

[Zalazdi]

@archlinuxuser: Jeśli tak... Dzięki za pomoc! ;) Teraz najgorzej to wszystko zaplanować i napisać od nowa.

[plushy]

@Zalazdi: Nie nazywaj kolumn nazwami typów danych. Timestamp i datetime? Czy te kolumny nie zawierają przypadkiem tych samych informacji? Czym jest kolumna market i czy market_id nie wystarczy?

[Zalazdi]

@plushy: timestamp i datetime - tak, to samo. Akurat pierw użyłem datetime, później zmieniłem to na timestamp i datetime chwilowo jest niepotrzebne. Nie tykam na razie tego.

market - z jakiej giełdy to jest transakcja

marketid - fakt, mogłem to nazwać idin_market - ID zwracane przez giełdę (później wg. tego pobieram tylko te nowe transakcje)

[Zalazdi]

@plushy: Zresztą początkowo to miał być prosty wykres głównie dla mnie i pary wykopków, napisany w 3-4h. A że zdobyło to taką popularność... Muszę to przepisać "na poważnie".

[plushy]

@Zalazdi: Zredukuj te dwie kolumny, przenieś nazwę marketu to osobnej tabeli w tej zostaw tylko klucz obcy i ci od razu spadnie rozmiar bazy a wydajność przyspieszy. Nie ma sensu myśleć o jakiś egzotycznych bazach jeśli ta nie jest dobrze obsłużona.

[Zalazdi]

@plushy: Po pierwsze i tak wąskim gardłem jest PHP, który wykonuje obliczenia (i gdzieś po drodze mi gubi cache). Więc przy okazji przenoszenia tego na Node.JS mogę skorzystać z innej bazy...

[Lipathor]

@Zalazdi: #tylkomongo ;)