Czy scrapując filmweb klasyczną metodą python+requests+BeautifulSoup mogę się narazić na bana ip? Jeśli tak, to co zrobić żeby się nie narazić poza ustawieniem delayu w requestach?
@4ndy: Jeśli dobrze rozumiem zapis z https://www.filmweb.pl/robots.txt to chyba nie ma nałożonych limitów ze strony. Żeby nie zasypywać ich requestami możesz, tak jak sam napisałeś, ustawić delaye + scrapować w godzinach nocnych kiedy nie ma dużego ruchu na stronie.
@4ndy: Jakiś czas temu na wykopie pojawił się link do artykułu, gdzie ktoś w ten sposób pobierał dane z filmweb. Robił to właśnie w nocy i z różnymi opźnieniami bo nie chciał problemów. Chyba kilka miesięcy zbierał dane. Jak znajdę linka to podrzucę.
#python
#scraping
Jakiś czas temu na wykopie pojawił się link do artykułu, gdzie ktoś w ten sposób pobierał dane z filmweb.
Robił to właśnie w nocy i z różnymi opźnieniami bo nie chciał problemów. Chyba kilka miesięcy zbierał dane.
Jak znajdę linka to podrzucę.