Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata
#programowanie #python #bigdata
https://firebox.com.pl/firebox-t20-basic-security-suite.html
#utm #security #siecikomputerowe