#goutte

13.09.2019, 16:53:30

Jest możliwość pobrania obrazka przy pomocy Goutte przy pierwszym requescie ? obrazek to captcha generowana za każdym razem, i muszę ja pobrać na samym początku żeby nie różniła się podczas wypełniania formularza
#php #goutte

dobrymarcin

13.09.2019, 17:42:17

@Radaka: A myslisz, że jak działa przeglądarka? Najpierw pobiera stronę i URL obrazka a później obrazek.

Radaka

14.09.2019, 10:49:40

@jagoslau: Dzieki, ale już nie miałem sił ani ochoty się z tym męczyć i wszystkie scrapery przepisałem na node i puppeteer a z noda odwołuję się po api do aplikacji i działa ;)

qwelukasz

11.06.2015, 10:30:43

#programowanie #php #dev

No dobra, dzisiaj muszę pobrać ze dane ze strony. Uzywam #symfony2 i #goutte
Mam już wszystko gotowe, skrypt działa i w ogóle. Problem jest taki że strona ma ogromną ilość podstron.
Np

Lista

DanioPL

11.06.2015, 10:42:23

@qwelukasz: Generalnie powinieneś pakować to w paczki (po powiedzmy 50 obiektów jeśli jeszcze tego nie robisz), a po flushu warto przeiterować po tych obiektach i zrobić na nich

$entityManager->detach($object);
Wtedy Garbage Collector będzie mógł od razu je zgarnąć i posprzątać, w innym przypadku siedzą w pamięci niepotrzebne obiekty.

edit: ewentualnie po flushu zrób $em->clear(); który detachuje wszystkie obiekty w EM

DanioPL

11.06.2015, 11:01:24

@qwelukasz: na devie system zbiera bardzo dużo informacji przydatnych do debugowania i za każdym razem przeładowuje konfiguracje, której nie cachuje. Zrób również php app/console cache:warmup --env=prod przed wykonaniem komendy. Znacznie przyspiesza całość aplikacji.