[pfcode]

Mirki, mam do zaimportowania dosyć sporą ilość danych (2.3 miliona kombinacji atrybutów) do sklepu na PrestaShop. Próbowałem zrobić to za pomocą importu CSV, jednak nawet przy względnie niewielkich ilościach danych (partie po 3000 wierszy) serwer wywala timeout po 5min (na tyle ustawiony jest Apache).

Czy jest jakiś prosty i szybki sposób na import tak dużych ilości danych do Presty? Oczywiście poza pisaniem własnego skryptu, który wrzucałby dane bezpośrednio do MySQL (niestety, z tym jest trochę zabawy, a mi zależy na czasie).

[ #programowanie | #prestashop | #php | #mysql ]

[k.....2]

@pfcode: może powinieneś to jakoś partiami wczytywać? ja miałem taki problem w javie i to rozwiązało mój problem

[pfcode]

@kudlaty9102: Tak jak napisałem w poście, podzieliłem dane na partie po 3000 wierszy, ale taka ilość jest za ciężka dla serwera, importując "oficjalną" metodą.

[karer]

@pfcode: kolega mial na mysli to zeby partie byly tez dobrane w takiej wielkosci zeby serwer nie mogl wywalic bledu...

[m_dop]

prosty i szybki sposób na import tak dużych ilości danych do Presty

@pfcode: programiści go nienawidzą ! kliknij ! xDDDD

[k.....2]

@pfcode: możesz jeszcze spróbować pod innymi przeglądarkami, kiedyś w JS mieliśmy taki problem że wywalało nam timeouta pod IE a pod FF chyba śmigało.

zawsze możesz się zapoznać z Talendem. Bardzo szybko można tam robić migracje z plików do baz i z bazy do bazy.

[ppawel]

a mi zależy na czasie

@pfcode: Gdyby 2.3k zajęło tylko 5 minut to 2.3 miliona zajmie tysiąc razy tyle (prawie 4 dni). Więc masz trzy dni na przygotowanie kodu migratora, który przygotuje ci skrypt. Znając RDBMS łyknięcie tego nie powinno potrwać długo, ale lepiej miej dostęp przez konsolę niż jakiegoś śmiesznego pma żeby znowu kilkuminutowy timeout nie popsuł zabawy.

[krypod]

@pfcode 2-3 miliona kombinacji do PrestaShop? PrestaShop bardzo nie lubi kombinacji, a w takich ilościach... przecież to zamrozi back-office :)

[eternalmarcos]

@pfcode: jak masz sql, to odpalasz po ssh

[rozdajozadarmo]

@pfcode:
http://papaparse.com/

Dzięki temu wczytasz sobie plik "na raty", a następnie w callbacku będziesz małymi porcjami robił AJAXowe requesty do backendu presty, aż przepchasz całość.

Pozostaje tylko w backendzie presty dopisać funkcję, która będzie te requesty odbierać. Możesz też użyć REST API presty.