Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata
#programowanie #python #bigdata




























#python #programowanie #naukaprogramowania #codereview
mam sobie dwie klasy "rzecz" i "kontener na rzeczy" - jaki jest najlepszy sposób by każda z rzeczy mogła "powiedzieć", gdzie się znajduje? (zakładamy, że każda rzecz jest w jakimś konkretnym jednym kontenerku)? jak to najładniej zaprojektować?
mam taki przyklad: https://pastebin.com/JgLYYbur i proszę o opinie :)
(sorry za screenshot, wykop źle formatuje kod)
źródło: comment_16603016323CHy3TqCSksDMaTNJsbAWq.jpg
PobierzW dużym skrócie wszystko zależy od tego czy obiekt może żyć / mieć własną tożsamość bez obiektu rodzica.
Przykładowo:
- książka może spokojnie istnieć