Wpis z mikrobloga

Ahoj #datascience i #machinelearning. Wy to pewnie mnożycie macierze w bazach danych i inne cuda robicie. Ale może jest wśród was #newbie który jeszcze nie miał do czynienia z bazami danych. I właśnie z myślą o osobach początkujących napisałem artykuł w którym dzielę się moimi przemyśleniami na temat używania baz danych w projektach data science. Od razu ostrzegam, że temat jest na poziomie bardzo początkującym. Ale jeśli będzie popyt to z chęcią przygotuję coś więcej. Nie przedłużając:

https://www.jakbadacdane.pl/sqlite-i-python/

#sql, #jakbadacdane
  • 3
@Avitus: nie obraź się ale mam ambiwalentny stosunek do artykułu. Trudno mi sobie wyobrazić , że będziesz przetwarzał wolumen danych >100 GB w samym pythonie. Oczywiście jesteś w stanie wykorzystać 'najnowsze zdobycze techniki' jak Lamba functions/ Compute engine itp. ale i tak nie rekompensuje to czasu i pieniędzy
@ja_tu_czytam: Nie obrażam się ;). I mam pewien pomysł jak to ugryźć, ale jeszcze nie przetestowany - użyć modułu dask (https://dask.org/).
W samym artykule też piszę o tym, że możemy w ogóle nie zbudować ramki danych bo zabraknie nam pamięci ( ͡° ͜ʖ ͡°).

W sumie to jest to pomysł na artykuł na przyszłość. Może faktycznie w takiej sytuacji polegnę. Ale i tak będzie o czym