Ostatnio sprawdziłem dlaczego wujek Google blokuj antybot (status 302 => 503) mojego Web Scrapera :) i o dziwo php CURL jak daje na HTTP 1.1 wyskakuje recaptcha a na HTTP 2.0 nie :) więc może warto skompilować sobie PHP z nowym CURL na serwerze :) Większość ma jakieś skrobaki pozycji SEO i...
Ostatnio sprawdziłem dlaczego wujek Google blokuj antybot (status 302 => 503) mojego Web Scrapera :) i o dziwo php CURL jak daje na HTTP 1.1 wyskakuje recaptcha a na HTTP 2.0 nie :) więc może warto skompilować sobie PHP z nowym CURL na serwerze :)
Większość ma jakieś skrobaki pozycji SEO i nawet chyba o tym nie wie albo wie i nic tu nie kopią na wykopie hihi (szkoda marnować proxy wiadomo, że większość botów daje na CURLOPT_HTTP_VERSION 1.1)
CURLOPT_HTTP_VERSION
CURL_HTTP_VERSION_2
curl 7.47.0
Takie coś to OK :
curl -I https://www.wykop.pl
HTTP/2 200
date: Tue, 12 Jan 2019 02:10:28 GMT
content-type: text/html; charset=UTF-8
vary: Accept-Encoding
h1: wykop-03
expires: Thu, 19 Nov 1981 08:52:00 GMT
cache-control: no-store, no-cache, must-revalidate
pragma: no-cache
set-cookie: WSSID=...; path=/; domain=.wykop.pl; HttpOnly
x-utime: 0
x-be: www-dynamic-nginx/wykop-03
gw-server: greywizard-1.9
server: greywizard-1.9
set-cookie: JSESSIONIDN=s-03; path=/; domain=.wykop.pl
set-cookie: grey_wizard=...
x-xss-protection: 1; mode=block
A takie nie :
# Unsupported protocol error
Pozdrowienia dla pozycjonerów z Polski i Rosji ;)
tygodnia
Komentarze (2)
najlepsze