Chce zrobić export dwóch tabel do dwóch plików .csv. W jednej tabeli jest średnio 5 mln rekordów. Chciałem zrobić
Napisałem w pythonie na szybko skrypt który eksportowałby dane do csv dzieląc dane według daty (miesiąca i roku = result_mm-yyyy.csv)
Jednak tutaj tez występuje timeout. Co byście poradzili?
Gdyby primary key był INT to
COPY table TO '/path/' WITH DELIMITER ',' CSV
, ale nie dało rady bo po kilku minutach jest timeout.Napisałem w pythonie na szybko skrypt który eksportowałby dane do csv dzieląc dane według daty (miesiąca i roku = result_mm-yyyy.csv)
Jednak tutaj tez występuje timeout. Co byście poradzili?
Gdyby primary key był INT to
Przy małej ilości danych zrobiłem to w ten sposób:
data = list( sorted( chain( model1.objects.all(), model2.objects.all()) ) )
a potem wrzucałem to do Paginatora (
paginator = Paginator(data, 1000)
)No i wszystko było fajnie przy małej ilości danych,
@Spofity: po co?