[thomeq]

Cześć, mam problem - mam dosc duzy plik csv - na tyle duzy, ze samo wczytywanie trwa kilkanascie sekund (a bedzie bardzieł puchł). mocno spowalni mi dzialanie aplikacji - poustawialem juz recznie rodzaje danych w kolumnach, wstawilem gdzuie sie da dane kategoryczne, ale nadal wolno. W zwiazku w tym mam pytaie (jak na razie nic nie znalalem na ten temat w sieci): czy jest opcja wczytywania z pliku csv tylko interesujacyh mnei danych na kształt odpytania bazy sql? Ew. jaka polecacie biblioteke do stworzenia lokalnie takiej bazki i korzystania z niej (w R mialem taka, zapisywala baze d o jednego pliku i mozna bylo swl odpytywac)? #python #pandas

[jgruszka93]

@thomeq: sqlite + np. peewee a nie jakieś csv ;)

[ProfesorBigos]

@thomeq: Python ma w standardowej bibliotece dwa proste moduły do tworzenia plików klucz-wartość nazywające się dbm i shelve. Jeśli potrzeba coś do bardziej skomplikowanych operacji, sprawdź pandas i dask.

[thomeq]

@jgruszka93: do tetgo sie sklaniam, szczegolnie, ze python ma odpowiednia biblioteke
@ProfesorBigos: pandasa uzywam, o dask slyszalem, chodzi bardziej o nie trzymanie wszystkich danych w pamieci, bo duzo i ch ;)

[Kura_Wasylisa]

@thomeq skonwertuj csv do parquet to Ci pomoże trochę, możesz tu uzyc sparka on nie będzie tego explicite ladowal do pamieci a mozesz uzywac sqla na tych danych