[M.....0]

#python #request #webscraping #programowanie

Mam problem....

Pobieram w Pythonie za pomocą biblioteki requests kod strony (serwis nie udostępnia API), później z kodu strony wyszukuje dane których potrzebuje (bez bs4).

Świetnie to działało do momentu jak zapisałem gdzieś 10 k danych i nagle strona mnie zbanowała i teraz za każdym razem jak używam requesta wywala mi błąd "response 429".

Odczekałem kilka godzin, dalej wywala mi błąd 429 ( ͡° ͜ʖ ͡°)

Co i jak mam zrobić żeby oszukać system? Ktoś coś?

[mccloud]

@MimikX90: Zmień IP.

[kao3991]

429

@MimikX90: najpewniej wyłapałeś bana po IP. możesz próbować przez VPN, przez jakieś TOR itd, no i na pewno warto dać chwilę sleepa między requestami.

[nyxesis]

@MimikX90: proxy chain

[hiroszi]

@MimikX90: zostaje Ci tylko proxy/vpn i parę innych rozwiązań ale na nie musisz wpaść sam ( ͡° ͜ʖ ͡°)

[ManfredMacx]

@MimikX90: Jak masz zmienne IP, to restart routera, żeby odzyskać dostęp. Ale będą Cię blokować jak puszczasz swój skrypt, bo generujesz za duży ruch. Rozważ propozycje kolegów wyżej. Mi pomogło po prostu dodanie opóźnień pomiędzy requestami. Jest znacznie wolniej, ale problem zniknął

[Ilythiiri]

@MimikX90: jak koledzy wyżej, zmiana IP + pauzy pomiędzy requestami. Będzie wolniej, ale może nie wyrwiesz bana i zaoszczędzisz sobie nerwów.

Jakby się jednak nie udało to wykup jakiś VPN, postawisz wirtualną maszynę która będzie się przepinać po całym świecie co X i tyle.

[M.....0]

@mccloud: @kao3991: @nyxesis: @hiroszi: @ManfredMacx: @Ilythiiri:
Dzięki za odpowiedzi. Zapomniałem wczoraj dopisać że po włączeniu VPNa i zmianie IP po 30 requestach mnie znowu zbanowali.
Dzisiaj odpaliłem i szło normalnie, dodałem sobie do kodu losowego sleepa od 0 do 3 sekund i gra.
Już nie banują, aczkolwiek znacznie wolniej chodzi... ( ͡° ʖ̯ ͡°)