[destyl]

Zablokowali mi IP na stronie za crawlowanie po niej. Chce dodać opcje w #scrapy żeby używał proxy, lecz co połączy się z nową okazuje się że wchodzi na jakąś gówno stronkę z proxy i nie widać tej na która próbuje się dostać.. A przez przeglądarkę bez problemu strona się ładuje..

Ustawiłem USER_AGET taki jak mam w przeglądarce i dalej to samo...

#programowanie #python #webdev #halp

[qwelukasz]

@destyl: Przykro mi

[sokytsinolop]

@destyl: ustaw wszystkie request headers na takie same

[mephisto4]

@destyl: Crawluj z użyciem TORa

[blasted]

@destyl: nastepnym razem nie crawluj tak nachalnie ( ͡° ͜ʖ ͡°)