[Jurix]

Dostałem zlecenie na napisanie prostego crawlera na pewną stronkę. Problem w tym, że strona ta posiada zabezpieczenie, że po ~40 dowolnych wejść na stronę wywala captchę. Czy jest jakiś sposób na obejście tego? Nie chciałem poświęcać nadto czasu na coś, co prawdopodobnie się nie uda, ale blokada prawdopodobnie jest na IP i odświeża się dopiero po 24 godzinach. Aktualizować dane muszę regularnie, więc czekanie nie wchodzi w grę, vpn z masą adresów byłby ponad budżet klienta.
Jak taki Google indeksuje strony mające takie zabezpieczenia? Jest jakiś sposób na ominięcie tego?

#programowanie #webdev #php

[spaduwa_mam_robote]

@Jurix: proxy?

[Lipathor]

@Jurix: Może dla googla robią wyjątek, próbowałeś user-agent googlebota?

[hanksters]

@Jurix: to zmień useragent na Googlebota i zobacz jak zareaguje.

[kubako]

Problem w tym, że strona ta posiada zabezpieczenie, że po ~40 dowolnych wejść na stronę wywala captchę.

@Jurix: a w praktyce ile razy trzeba by wpisywać captchę, ile stron orientacyjnie crawlujesz - bo inaczej jeśli 200 stron musisz przeskanować codziennie, a inaczej jeśli 200000

[Soothsayer]

@Jurix: czyli co, jak odświeżysz stronę 40 razy w przeglądarce to też się zablokuje?

[Jurix]

@Lipathor: @hanksters: próbuję
@kubako: Duża liczba, myślałem nad tym, odpada.
@Soothsayer: Tak.

[kubako]

@Jurix: trzebaby postawic to na jakimś pobocznym kompie (od biedy nawet coś formatu raspberry pi) podłączone pod najtańszy net komórkowy ze zmiennym ip, które resetowałoby połączenie i pobierało 40 stron.

[hanksters]

@Jurix: a jak proxy to zobacz jeszcze proxy 4G.

[Jurix]

@Lipathor: @hanksters: @kubako: @Soothsayer: Google chyba nie działa (chyba że robię coś źle).

Wrzuciłem w postmana request (picrel), dałem nagłówek z user agent na google i i tak wywala :/ Robię coś źle? Czy po prostu mają kompletnie to zablokowane?

Requesty puszczałem curlem, więc to nie cookies czy coś.

[Lipathor]

@Jurix: wygląda ok, widać olewają googla

[Jurix]

@spaduwa_mam_robote: @hanksters: @Lipathor: W jaki sposób mógłbym zaimplementować proxy? Na czym to miałoby polegać? Musiałbym płacić za to jak za vpn?

[Lipathor]

@Jurix: w necie można znaleźć serwery proxy darmowe, zdaje się jest opcja do cURL do ustawienia serwera proxy

[spaduwa_mam_robote]

@Jurix: Najlepiej byłoby zapłacić za proxy, ale nie polecę nic, bo nie znam. Te darmowe są słabe, ale możesz spróbować: https://www.blackhatworld.com/forums/proxy-lists.103/ (wchodź na ostatnią stronę danego threada) - najlepiej do tego dopisać sobie tester, który sprawdza, które działają, a które nie.

[spaduwa_mam_robote]

@Jurix: tutaj masz przykładowy tester: https://github.com/sonerb/Python-Proxy-Tester - ale jest ich w uj jak wpiszesz proxy tester [język] github

EDIT:
nawet możesz se online sprawdzić: https://proxy6.net/en/checker

[Marlboras]

@Jurix: 2captcha, 1k recpatchy od google za 3 usd

[kmi3c]

@Marlboras: @Jurix: plus samo to, ze nie masz jsa evalowanego moze być problemem. Sprawdź tez czy to czysta captcha czy jakaś owijka + captcha np jak robi datadome. Wyedy 2captcha moze sobie nie poradzić.
Moze pomóc spojrzenie na to jak ustawiaja agenta w np puppeter stealth itp.
Czasami po prostu za dużo roboty.

[Jurigag]

@Jurix: smartproxy albo 2captcha, ustawiasz sobie w curl odpowiednie parametry które dostajesz od smartproxy i za każdym razem leci to przez ich IP, tylko oczywiście wiąże się to z dodatkowymi kosztami