[zergqq2]

mirki czego używacie w #php do scrapowania stron prócz curla z preg_matchem ? Jest coś przystępniejszego jak analogicznie np. takie cheerio w nodejs?
#programowanie #webdev

[s.....y]

@zergqq2: http://simplehtmldom.sourceforge.net/

[anonim1133]

@zergqq2: http://php.net/manual/en/book.dom.php ?

[normanos]

@zergqq2: guzzle

[zergqq2]

@spokojnylecznerwowy: o super, dokładnie o takie coś mi chodziło, dzięki! ( ͡º ͜ʖ͡º)
@anonim1133: @normanos: przystanę przy tym simplehtmldom, najlżej wygląda i w zupełności wystarczy do moich aktualnych potrzeb, niemniej dzięki też!

[B.....d]

@zergqq2: z tym simplehtmldom to uważaj ( ͡° ͜ʖ ͡°)

[zergqq2]

@BunkMoreland: czemu? działa elegancko ʕ•ᴥ•ʔ

[B.....d]

@zergqq2: Kiedyś przy dawnym projekcie trochę się napociłem, kiedy było dużo danych do scrapowania z różnych stron, a simplehtmldom jest strasznie pamięciożerny i trochę wolny. Musiałem też sobie dorobić małą klasę która nadpisywała sam proces pobierania HTML z innych stron (zamieniłem oryginał na cURL'a żeby mnie inne strony nie blokowały i aby myślały że jestem normalnym użytkownikiem)

[panDocent]

@zergqq2: czasami lubi zjeść za dużo pamięci i możesz dostać "Memory exhausted"...
Poczytaj o wydajności - http://simplehtmldom.sourceforge.net/manual_faq.htm#memory_leak

[zergqq2]

@BunkMoreland: @panDocent: o kurczak, będę się miał na baczności, najwyżej będę rozbijał scrapowanie na kilka mniejszych skryptów odpalanych przez crona
@BunkMoreland: masz tą klasę wrzuconą gdzieś na githubie czy coś? ʕ•ᴥ•ʔ

[B.....d]

@zergqq2: Sorry, napisałem klasa, a miałem na myśli tylko jedną funkcję ( ͡° ͜ʖ ͡°)

function curl($url){

 $headers[] = "User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13";
 $headers[] = "Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
 $headers[] = "Accept-Language:en-us,en;q=0.5";
 $headers[] = "Accept-Encoding:gzip,deflate";
 $headers[] = "Accept-Charset:ISO-8859-1,utf-8;q=0.7,*;q=0.7";
 $headers[] = "Keep-Alive:115";
 $headers[] = "Connection:keep-alive";
 $headers[] = "Cache-Control:max-age=0";

 $curl = curl_init();
 $cookie = DATA_DIR.DS."cookie.txt";
 curl_setopt($curl, CURLOPT_URL, $url);
 curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
 curl_setopt($curl, CURLOPT_ENCODING, "gzip");
 curl_setopt($curl, CURLOPT_RETURNTRANSFER,

[zergqq2]

@BunkMoreland: podziękował