Czy w #postgresql można byłoby podzielić tabelę na 256 partycji wg. pierwszego bajtu jednej z kolumn typu BYTEA? Próbuję wrzucić transakcje Bitcoin do PostgreSQL. Wszystkich aktualnie jest ~622 468 868. Na początku, bez partycji wszystko wyglądało obiecująco ale po 10m rekordów, wydajność insertów mocno siadła. Jedna z kolumn TX zawiera 32 bajty które są identyfikatorem transakcji. Pomyślałem sobie, że można byłoby na podstawie pierwszego bajtu tej kolumny podzielić ją na 256 partycji - tylko nie wiem czy #postgres to umożliwia?
EDIT: Wygląda na to, że największym błędem było poleganie na domyślnej automatycznej inkrementacji klucza głównego. Gdy zacząłem go sam wyliczać i podawać bezpośrednio wydajność wzrosła niesamowicie. Jeszcze nie wiem czy partycje będą teraz konieczne.
@plushy: Gdyby cię to interesowało, do wiadomości: wpis powyżej. Liczę że dzięki temu rozwiązaniu nie będę musiał stale przebudowywać indeksów na tabeli liczącej > 600 mln rekordów
Próbuję wrzucić transakcje Bitcoin do PostgreSQL. Wszystkich aktualnie jest ~622 468 868. Na początku, bez partycji wszystko wyglądało obiecująco ale po 10m rekordów, wydajność insertów mocno siadła. Jedna z kolumn TX zawiera 32 bajty które są identyfikatorem transakcji. Pomyślałem sobie, że można byłoby na podstawie pierwszego bajtu tej kolumny podzielić ją na 256 partycji - tylko nie wiem czy #postgres to umożliwia?
https://medium.com/blockwala/migrating-bitcoin-in-postgresql-database-9b931a1e5cf9
Z tym pokrywa się zwiększenie: maintenance work mem, work_mem, co już robiłem.
Inserty robię właśnie w ten sposób, że wrzucam mnw. po 1k, później będę po 2-3k. Na razie, ogólnie jest już spoko
Utworzenie tabeli:
create table tx( id bigint
Liczę że dzięki temu rozwiązaniu nie będę musiał stale przebudowywać indeksów na tabeli liczącej > 600 mln rekordów