[s.....e]

Czy w #postgresql można byłoby podzielić tabelę na 256 partycji wg. pierwszego bajtu jednej z kolumn typu BYTEA?
Próbuję wrzucić transakcje Bitcoin do PostgreSQL. Wszystkich aktualnie jest ~622 468 868. Na początku, bez partycji wszystko wyglądało obiecująco ale po 10m rekordów, wydajność insertów mocno siadła. Jedna z kolumn TX zawiera 32 bajty które są identyfikatorem transakcji. Pomyślałem sobie, że można byłoby na podstawie pierwszego bajtu tej kolumny podzielić ją na 256 partycji - tylko nie wiem czy #postgres to umożliwia?

[s.....e]

EDIT: Wygląda na to, że największym błędem było poleganie na domyślnej automatycznej inkrementacji klucza głównego. Gdy zacząłem go sam wyliczać i podawać bezpośrednio wydajność wzrosła niesamowicie. Jeszcze nie wiem czy partycje będą teraz konieczne.

[plushy]

@sheeple ale jakich insertów? Czytałeś https://www.postgresql.org/docs/current/populate.html ?

[s.....e]

@plushy: Tego nie ale inny artykuł:
https://medium.com/blockwala/migrating-bitcoin-in-postgresql-database-9b931a1e5cf9
Z tym pokrywa się zwiększenie: maintenance work mem, work_mem, co już robiłem.
Inserty robię właśnie w ten sposób, że wrzucam mnw. po 1k, później będę po 2-3k. Na razie, ogólnie jest już spoko

[plushy]

@sheeple no to przeczytaj. A co do twojego autoincrementa to są się wyłączyć indeksy na czas ładowania danych, też gdzieś to w manuału jest

[s.....e]

@plushy: Powyrzucałem już wszystko poza PK. Na razie muszę nadgonić 10 lat historii bitcoina. Później już na lajcie będę dorzucał tylko 2-3k co 10 min

[plushy]

@sheeple no ale PK nadal jest na indeksie i to na dodatek unique. Either way poczytaj o COPY i ładowanie csv

[s.....e]

Gdyby ktoś szukał zostawię to tutaj dla potomnych (PostgreSQL 10):

Utworzenie tabeli:

create table tx
( id bigint
, block integer
, txid bytea
, n smallint
)
partition by list(get_byte(txid, 0));

Output SQL dla tworzonych partycji i indeksów:

do $$begin
 for i in 0 .. 255 loop
 raise notice '%', format('create table %s_%s partition of %1$s for values in (%3$s);', 'tx', lpad(upper(to_hex(i)), 2, '0'), i);
 raise notice '%', format('alter table %s_%s

[s.....e]

@plushy: Gdyby cię to interesowało, do wiadomości: wpis powyżej.
Liczę że dzięki temu rozwiązaniu nie będę musiał stale przebudowywać indeksów na tabeli liczącej > 600 mln rekordów

[Drmscape2]

@sheeple: Tak ogólnie to używając COPY i csv poszłoby dużo szybciej niż insertem.