Wpis z mikrobloga

Treść przeznaczona dla osób powyżej 18 roku życia...
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Avitus: nie obraź się ale mam ambiwalentny stosunek do artykułu. Trudno mi sobie wyobrazić , że będziesz przetwarzał wolumen danych >100 GB w samym pythonie. Oczywiście jesteś w stanie wykorzystać 'najnowsze zdobycze techniki' jak Lamba functions/ Compute engine itp. ale i tak nie rekompensuje to czasu i pieniędzy
  • Odpowiedz
@ja_tu_czytam: Nie obrażam się ;). I mam pewien pomysł jak to ugryźć, ale jeszcze nie przetestowany - użyć modułu dask (https://dask.org/).
W samym artykule też piszę o tym, że możemy w ogóle nie zbudować ramki danych bo zabraknie nam pamięci ( ͡° ͜ʖ ͡°).

W sumie to jest to pomysł na artykuł na przyszłość. Może faktycznie w takiej sytuacji polegnę. Ale i tak będzie o
  • Odpowiedz