[s.....e]

Czy możliwe będzie w #postgres wrzucenie 460 000 000 rekordów (wszystkie transakcje #bitcoin) i rozsądna praca z taką ilością danych (czas dostępu do rekordu < 500ms)? Na co zwrócić uwagę przy takiej ilości danych? Chciałbym założyć na takiej tabeli primary key bytea będący binarnym hashem transakcji (32 bajty)
#bazydanych

[Supaplex]

@sheeple: Tak będzie możliwe. Czas dostępu będzie mocno zależny od I/O jakim baza będzie dysponować oraz pozostałymi zasobami, np rozmiarem cachu pamięci bazy etc.

[s.....e]

@Supaplex: Pracowałeś przy takich dużych bazach? Czy czas pobrania rekordu po kluczu głównym jest mocno zależny od ilości rekordów w takiej tabeli?

[rysiekryszard]

@sheeple: Może przyjrzyj się libbitcoinowi. Mają indexer i własną bazę danych. Ale nie znam szczegółów. Mają discorda więc tam chyba można o wszystko zapytać. Chodzi o to, że chyba nie ma co tworzyć koła na nowo, o ile ich rozwiązanie spełni twoje kryteria.

[xinn]

@sheeple: Nie wiem do czego potrzebować będziesz tych danych, nie wiem czy już napisałeś sobie jakiś skrypt importujący dane do bazy danych ale być może zaoszczędzę Ci trochę czasu:
1) Twoja podręczna baza danych bitcoina: https://blockchair.com/bitcoin/transactions (wyszukiwanie/sortowanie etc.)
2) Jeżeli to Ciebie nie urządza to tutaj masz gołe dane TSV gotowe do ściągnięcia: https://gz.blockchair.com/bitcoin/

[s.....e]

@rysiekryszard: Dzięki, przeglądam ale wygląda na to, że ta ich baza jest trzymana w pamięci a tej, tyle nie mam ( ͡° ͜ʖ ͡°)

[s.....e]

@xinn: Dzięki. Może rzeczywiście przydadzą mi się takie zrzuty do jej zasilenia. Chciałbym generować grafy przepływów online, on-demand i tworzyć różne statystyki

[rysiekryszard]

@sheeple:

Dzięki, przeglądam ale wygląda na to, że ta ich baza jest trzymana w pamięci a tej, tyle nie mam ( ͡° ͜ʖ ͡°)

Jesteś tego pewny? Bo brzmi to niezbyt wiarygodnie.

[FejsFak]

@rysiekryszard: a jak inaczej ma to działać szybko?

[rysiekryszard]

@FejsFak: Jak nie masz odpowiednich zasobów to tak czy tak nie będzie działało szybko. Tutaj bardziej była chyba kwestia czy w ogóle będzie działało.