[4ndy]

Czy scrapując filmweb klasyczną metodą python+requests+BeautifulSoup mogę się narazić na bana ip? Jeśli tak, to co zrobić żeby się nie narazić poza ustawieniem delayu w requestach?

#python
#scraping

[NieJestemAgentemBialkova]

@4ndy: Jeśli dobrze rozumiem zapis z https://www.filmweb.pl/robots.txt to chyba nie ma nałożonych limitów ze strony. Żeby nie zasypywać ich requestami możesz, tak jak sam napisałeś, ustawić delaye + scrapować w godzinach nocnych kiedy nie ma dużego ruchu na stronie.

[BoKoR]

@4ndy:
Jakiś czas temu na wykopie pojawił się link do artykułu, gdzie ktoś w ten sposób pobierał dane z filmweb.
Robił to właśnie w nocy i z różnymi opźnieniami bo nie chciał problemów. Chyba kilka miesięcy zbierał dane.
Jak znajdę linka to podrzucę.

[J0g1]

@4ndy: a czemu nie scrapy?

[4ndy]

@J0g1: Jeszcze nie miałem okazji się nauczyć :))

[J0g1]

@4ndy: polecam ;)