[p.....n]

#webdev #mysql #php #bazydanych #bigdata #smalldata

Tylko 160k rekordów, a dedyk to #!$%@? mać liczy i liczy...

Może to wina fgetcsv? Nie mam ustawionego $length (w sensie na zero)?

Nic ciekawego nie robię w sumie. Hmm, może lepiej zrobić decydowanie o update/insert na poziomie bazy, bo teraz robię tak, żeby wiedzieć czy zedytowano rekord, bo MySQL wyrzuca 0 gdy nie aktualizuje danych bo są takie same:

1. Select

2.a Update lub

2.b Insert

Czyli mam defacto 320tys. zapytań. A zajmuje to tragiczną ilość czasu.

Mógłby ktoś coś podpowiedzieć ;)

[p.....n]

@prezes_n: Chyba mam - MySQL jest ustawiony na działanie tylko w jednym wątku..

[V.....m]

@prezes_n: Myślę, że to nie wina wątków tylko masz gówniane zapytanie albo strukturę bazy.

[entrop]

@prezes_n: odpal z konsoli i idź na fajkę xD

[p.....n]

@Vealheim: Wina wątków - złej optymalizacji, w każdym bądź razie z 5min działania skryptu 14k rekordów.

@entrop: To sobie jakiś gościu ma dodawać CSV'kę więc musi to działać bez konsoli ;]

[p.....n]

@Vealheim: @entrop: Taka człowieka handra trafia, że przez takie gówno reinstalacje całego dedyka robi, co się #!$%@? dzieje..

[entrop]

@prezes_n: i to jeszcze w piątek

[p.....k]

@prezes_n: oprócz wielowątkowości przeglądnij jakimś profilerem zapytania jakie idą i przeanalizuj je pod kątem wydajności, dodatkowym plusem do performance będzie odpowiednie indeksowanie tabel, mi to pomogło z kwerendki, która miała kilka left i inner joinów wykonywującej się na 200k+ rekordów w ponad 2 minuty zjechałem do 14 sekund. Polecam Ci tę prezentację, na której uczyłem się indeksowania

[RomantycznyRoman]

@prezes_n:

1. Która wersja silnika bazy danych?

2. Obczaj ustawienia samego mysql - może masz np. za mały budofor ustawiony?

3. Zrestartuj instancję i sprawdź, czy po restarcie jest szybciej

4. Koniecznie załóż indeksy.

Pozdro i udanej końcówki piątku:)

[plushy]

@prezes_n: Ło chłopie....Po pierwsze to importując z pliku użyj LOAD by załadować całość do staging table a następnie baw się wewnątrz bazy. Po drugie: Potrzebna ci wiedza które konkretnie wiersze zostały zmienione? Jak nie to trzaśnij UPSERT w jednym poleceniu (ewentualnie podziel na batche po parę k wierszy).