PiotrokeJ
  • 0
Ładuje dane do postgresa, najszybszą metodą jest kopiowanie całej csv do bazy wykorzystując copy_from. Ja nie zapisuje csv tylko zapisują ją w pamięci czyli tworzę stream wykorzystując stringIO. Teraz pytanie jak poradzić sobie z dużymi plikami gdzie będę miał po kilkaset tysięcy/miliony wierszy. Chciałbym aby buffor był doładowywany na bieżąco a z drugiej strony konsumowany czyli dane z bufforu będą kopiowane/wrzucane do bazy danych.
#programowanie #python #bigdata
  • 12
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
@Saly: @jurny: Może opiszę jeszcze raz od nowa początek. Mam mikroserwis którego za zadaniem jest wrzucenie dataframe to bazy danych. Czasami ten dataframe będzie miał 1000 rekordów a czasami 1mln. Najszybszą metodą jest copyfrom, jednak żeby użyć copyfrom muszę mieć csv. Jako że nie chce zapisywać csv na storage to stwierdziłem ze zrobię stream czyli stringIO. Także cała csv ląduje do pamięci i potem robię copy
  • Odpowiedz
PiotrokeJ
  • 0
Kupiłem dzisiaj paski do badania ketonów (na mocz), jakiego wyniku powinienem się spodziewać będąc 4 tygodnie na adaptacji. Wiem że test powinienem zrobić z samego rana. Z ciekawości zrobiłem go w trakcie dnia jednak wtedy pokazało brak ketonów i niską glukozę. Jaki powinien być optymalny wynik nad ranem? Wiem ze z moczu badanie nie zawsze jest miarodajne, jednak jeszcze nie dorobiłem się glukometru.
#keto #ketoza
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
@radoskor3: Łoo Panie, ja chciałem wyłudzić glukometr za free na receptę i robić badania sporadycznie. Raz na tydzień może raz na dwa. Dlatego cena pasków mi chyba nie przeszkadza.
  • Odpowiedz
PiotrokeJ
  • 1
Mamy psa uzależnionego od piłki. Figa nie potrafi się bawić z innymi pieskami, w głowie tylko piłka. Chcemy ograniczyć rzucanie piłki jak i zabawę piłkami. Jednak nie wiemy jak ją przekonać do tego aby nie podgryzała innych psów podczas zabawy. Figa raczej należy do łagodnych psów, nawet się słucha. Na spacerach jak inny właściciel wyrazi zgode lub widać że chce puścić swojego psa aby się przywitał to nasza Figa obwącha innego pieska
  • 10
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 0
@Dzikus_Z_Detroit: 3 lata, jednak przez pierwsze 1.5 roku nie było problemu, potem może trochę zaniedbaliśmy albo nie widzieliśmy problemu? Są psy z którymi się normalnie dogaduje :) - ale to raczej starzy znajomy których zna od początku.
  • Odpowiedz
PiotrokeJ
  • 0
@Richtig_Piwosz: Figa nie robi tego z agresją a raczej żeby odstraszyć pieska. Oczywiście to też działa w druga stronę kiedy to ona ma ochotę na zabawę i sama podgryza większe i mniejsze psy. Dodatkowo nie widzi różnicy między psem 5 kg a 40 kg. Potrafi przegonić psa który jest od niej 5-6 razy większy. Muszę to nagrać i pokazać bo czasami ta zabawa wygląda niewinnie a czasami jak by Figa
  • Odpowiedz
PiotrokeJ
  • 0
i przypominam - dorosłe psy się raczej nie bawią z obcymi dorosłymi psami.


@r__k: Tego nie wiedziałem

@Richtig_Piwosz: Tak tak, wiem że nic nie mówileś o agresi, ja raczej chciałem doprecyzować.
Jezeli chodzi o odwołania to działają skutecznie, tak samo jeżeli powiemy jej 'SIAD' to inny pies może na nią szczekac a Figa po prostu czeka
  • Odpowiedz
PiotrokeJ
  • 0
Mam zagwozdkę, mam obecnie stacjonarkę z ultra słaba kartą graficzną RX570 4GB która totalnie nie daje rady przy montażu filmów, nawet ciężko odpalić film w 4k60fps. Myślę nad dokupieniem karty, jednak sensowna karta to wydatek minimum 3000zł. Szukam w miarę taniego rozwiązania na którym będę mógł spokojnie montować krótkie filmiki w 4k, przeglądać internet, i czasami odpalić gierkę typu TFT. Chociaż z tym ostatnim coraz rzadziej.

Obecny setup:
RAM PATRIOT 16GB 4133MHz
CPU Ryzen
  • 18
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
PiotrokeJ
  • 1
#mtb #ebike #rower

Miał być zajebisty prezent na 30, ale chyba los chce żebym nie jeździł na rowerze. Kupiłem na początku czerwca rower elektryczny Superior exf 9049, wciągu 150km był z 4 razy w serwisie, silnik odsyłany, zawieszenie dwa razy składane, łożyska wymieniane. Serwis serio chciał żeby ten rower jeździł i nie trzeszczał. Nieudało się nic z tym zrobić. Sprzedawca dał mi kilka rozwiązań między innymi
PiotrokeJ - #mtb #ebike #rower Miał być zajebisty prezent na 30, ale chyba los ch...

źródło: comment_1657742093hOqp53NYI43nEpAv7bHmqk.jpg

Pobierz
  • 12
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Osiągnięcia