[spaduwa_mam_robote]

Mam taki projekt, w którym muszę przerzucić sporo rekordów (do 100 tys.) z pliku .csv do jakiegoś storage tak żeby mieć do niego dostęp w następnym requescie.

Obecnie robię tak, że wrzucam te rekordy do bazy MySQL z foreign key, ale jest to strasznie niewydajne. 50k rekordów insertują się 2 minuty, do tego mam poczucie marnowania zasobów, bo te dane po wykonaniu następnego requestu są mi niepotrzebne i tylko zalegają w bazie marnując sporo megabajtów.

Czego mogę użyć? Myślałem o #redis, ale redisa używałem tylko jako queue, a nie jako storage i nie mam pojęcia z czym to się je.

Jak myślicie, Redis jest odpowiedni do mojego problemu? Będzie wydajniejszy?

#programowanie

[sokytsinolop]

@spaduwa_mam_robote: https://medium.com/@benmorel/high-speed-inserts-with-mysql-9d3dcd76f723

podziel to na chunki i zamiast robic 100k insertow zrob 2 ;)

[WhiskyRomeo]

Nie znam redisa,ale brzmi spoko. Na pewno da się to zrobić. W sumie to nawet ttl możesz chyba ustawić,aby samo ci dane czyściło po określonym czasie. Ja użyłbym aerospike ale tylko dlatego że jest prosty i go znam.ale pewnie redis też da radę.

[mateusza]

@spaduwa_mam_robote: SQLite w RAM-ie?

[spaduwa_mam_robote]

@sokytsinolop: Dzięki, wygląda super. Spróbuję i się podzielę wynikami.

[spaduwa_mam_robote]

@sokytsinolop: Podzieliłem na chunki po 10 rekordów i zeszło do 13 sek. O to mi chodziło, dzięki!

@WhiskyRomeo: @mateusza:

[sokytsinolop]

@spaduwa_mam_robote: a sprobuj wrzucic wszystko w jednym, albo dwoch chunkach ( ͡° ͜ʖ ͡°)

[spaduwa_mam_robote]

@sokytsinolop: Tak zrobiłem przed napisaniem posta i dostawałem jakieś errory ze strony MySQL. Może spróbuję po 100 wrzucać czy coś, pobawię się ( ͡° ͜ʖ ͡°)

[Crisu]

@spaduwa_mam_robote: możesz jeszcze na czas importu wyłączyć constraints. Poczytaj tez o Load data infile