Web Scraper PHP CURL SEO Google recaptcha

Ostatnio sprawdziłem dlaczego wujek Google blokuj antybot (status 302 => 503) mojego Web Scrapera :) i o dziwo php CURL jak daje na HTTP 1.1 wyskakuje recaptcha a na HTTP 2.0 nie :) więc może warto skompilować sobie PHP z nowym CURL na serwerze :) Większość ma jakieś skrobaki pozycji SEO i...

jokerracer z dodany: 22.01.2019, 02:29:01

2
Odpowiedz

Ostatnio sprawdziłem dlaczego wujek Google blokuj antybot (status 302 => 503) mojego Web Scrapera :) i o dziwo php CURL jak daje na HTTP 1.1 wyskakuje recaptcha a na HTTP 2.0 nie :) więc może warto skompilować sobie PHP z nowym CURL na serwerze :)

Większość ma jakieś skrobaki pozycji SEO i nawet chyba o tym nie wie albo wie i nic tu nie kopią na wykopie hihi (szkoda marnować proxy wiadomo, że większość botów daje na CURLOPT_HTTP_VERSION 1.1)

CURLOPT_HTTP_VERSION

CURL_HTTP_VERSION_2

curl 7.47.0

Takie coś to OK :

curl -I https://www.wykop.pl
HTTP/2 200
date: Tue, 12 Jan 2019 02:10:28 GMT
content-type: text/html; charset=UTF-8
vary: Accept-Encoding
h1: wykop-03
expires: Thu, 19 Nov 1981 08:52:00 GMT
cache-control: no-store, no-cache, must-revalidate
pragma: no-cache
set-cookie: WSSID=...; path=/; domain=.wykop.pl; HttpOnly
x-utime: 0
x-be: www-dynamic-nginx/wykop-03
gw-server: greywizard-1.9
server: greywizard-1.9
set-cookie: JSESSIONIDN=s-03; path=/; domain=.wykop.pl
set-cookie: grey_wizard=...
x-xss-protection: 1; mode=block