[IsambardKingdomBrunel]

#datascience
#python

Jak najlepiej zabrać się za naprawdę duży dataset?

[cl_master]

@IsambardKingdomBrunel: Znaleźć korelacje między jakimiś cechami? Nie żebym się znał, tak bym spróbował przynajmniej ja ale sam się uczę.

[IsambardKingdomBrunel]

@cl_master: Tzn chodzi mi o to że mam kilka milionów rekordów i muszę to jakoś przeanalizować, ale nie chcę by to trwało wieki.

[vasper]

@IsambardKingdomBrunel: No ale to przecież zależy, co chcesz uzyskać. Może nie potrzebujesz wszystkich tych danych, może da się to jakoś zmienić ich format, albo może najpierw przepuścić całość przez jakieś oprogramowanie do big data i dopiero później bawić się w konkretną analizę. Zależy, jak duży to jest dataset i co tam w środku jest.

[IsambardKingdomBrunel]

@vasper: Mam problem nawet z samym otwarciem json. Na pewno jest to dobrych kilka milionów rekordów w różnych plikach i 25 kolumnach. Żeby wiedzieć co z tym zrobić to muszę to jakoś przetworzyć. Wstępne googlowanie mówi mi o formacie HDF

[vasper]

@IsambardKingdomBrunel: Najprostsze rozwiązanie, to skorzystać z jakiejś chmury obliczeniowej.
Jeśli używasz Pandas do wczytywania danych, to spróbuj importować te jsony w częściach.
np. pd.read_json(r'../input/data.csv', chunksize=1000000)

[IsambardKingdomBrunel]

@vasper: Tzn to już sobie ogarnąłem na początku, ale jak pracować na pełnych danych? Przykładowo potrzebuję wykres zbudowany na pełnym datasecie.

[maciejg]

@IsambardKingdomBrunel kilka milionów, to nie jest takie znowu duże... Zwykły SQL podoła bez problemu.

Niemniej, polecam najpierw zastanowić się, co chcesz zrobić. Potem zrobić to na małej próbce. Następnie oczyszczać dane mnóstwo razy i próbować ponownie.
A jak wyjdzie już coś sensownego, to pandas.

I jeszcze zrzuć to do mniej pamięciożernego formatu. Csv może być, jeśli żadnej bazy danych nie używasz.

A Hdfs zostaw do faktycznie dużych danych.

[vasper]

@IsambardKingdomBrunel: Może Dask? I zmień może format tych danych, na chociażby .csv.
Przeglądnij jakiś wycinek tego setu i zastanów się, co można by stamtąd wyrzucić, albo zmienić na coś "lżejszego", albo jeszcze inaczej zoptymalizować.

[bi-tek]

@maciejg @IsambardKingdomBrunel zmusiłem mysql do pracy z ok 350 mln rekordów w jednej tabeli i do tego join na 3 tabele i query generują się <1s na serwetki z 2gb ram.

Co to są za dane ?

[mrocznapszczola]

https://github.com/modin-project/modin