[PiotrokeJ]

Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata

[Saly]

@PiotrokeJ: stringIO vs buffor był doładowywany: o co chodzi? StringIO trzyma całość w pamięci, jaki sens ma doładowywanie czegokolwiek?

[jurny]

@PiotrokeJ jakiś memory fs, gdzie zapisujesz batch csv i wrzucasz go do postgresa?

[PiotrokeJ]

@Saly: @jurny: Może opiszę jeszcze raz od nowa początek. Mam mikroserwis którego za zadaniem jest wrzucenie dataframe to bazy danych. Czasami ten dataframe będzie miał 1000 rekordów a czasami 1mln. Najszybszą metodą jest copyfrom, jednak żeby użyć copyfrom muszę mieć csv. Jako że nie chce zapisywać csv na storage to stwierdziłem ze zrobię stream czyli stringIO. Także cała csv ląduje do pamięci i potem robię copyfrom do

[filozof900]

@PiotrokeJ: no to podziel dataframe na mniejsze i laduj po jednej?

[Wyrewolwerowanyrewolwer]

@PiotrokeJ: https://github.com/PgBulkInsert/PgBulkInsert
To może Ci się przydać. Z rok temu musiałem ostro ładować postgresa i może i w pythonie szybko się kodowało, ale za to trwało to wieczność.
Z tym pgbulkinsertem ładowałem po milion rekordów w niecałą minutę z tego co pamiętam.

[Saly]

@PiotrokeJ: nie chcę mi się za długo nad tym myśleć, ale czy to nie da rady https://stackoverflow.com/a/55495065/4638604 ?

[PiotrokeJ]

@Saly: Może za bardzo kombinuje? Czyli wystarczy że mam takie coś? https://pastebin.com/7TfCw6KJ

[Saly]

@PiotrokeJ: ale tu jest problem, który (chyba) masz: konwertujesz cały df do .csv a tego chyba nie chcesz robić (bo dużo pamięci i można zrobić to w chunkach). Jak tego problemu nie ma to spoko

[b0rn2frag]

@PiotrokeJ: napisz sobie file-like object który będzie streamowal i formatowal dane. Takie coś było u nas najszybsze, z zastrzeżeniem że na wejściu nie mieliśmy df.

[Tank1991]

@Saly: jedz readline po string io az zapelnisz swoj bufor(powiedzmy 200k wierszy), wtedy bulk insert, zeruj bufor i znowu do 200k i tak az wrzucisz

[PiotrokeJ]

@Tank1991: @b0rn2frag: @Wyrewolwerowanyrewolwer: @filozof900: @jurny: Bo Waszym propozycjach wybrałem chyba najprostrzą metodę. Dzielę dataframe na mniejsze paczki (po 20000 wierszy), wrzucam do buffora, potem do db, czyszcze bufor i ładuje kolejne 20k.

[Tank1991]

@PiotrokeJ: KISS ftw