Hejka,uczę się pisania web crawlerów i mam problem z #beautifulsoup, a dokładnie z tym by zaciągnąć większą ilość danych gdy są one na stronie pobierane w tle (ajax?) tak jak w przypadku wykopu.
Gdy zaciągam źródło strony ładowane jest 50 pierwszych znalezisk dla danego tagu,więcej ładuje się po zescrollowaniu strony.
Co zrobić żeby załadować więcej znalezisk ? Do pobrania zawartości używam freamworka #requests
krótki kod tego co nabazgrałem: https://pastebin.pl/view/1677c573
bądźcie wyrozumiali,
Gdy zaciągam źródło strony ładowane jest 50 pierwszych znalezisk dla danego tagu,więcej ładuje się po zescrollowaniu strony.
Co zrobić żeby załadować więcej znalezisk ? Do pobrania zawartości używam freamworka #requests
krótki kod tego co nabazgrałem: https://pastebin.pl/view/1677c573
bądźcie wyrozumiali,
Mam bota co zbiera sobie pewne informacje z różnych stron i w tym celu raz dziennie wysyła zapytanie i dzisiaj jedna strona zamiast zwrócić mi interesujące mnie dane daje mi #captcha. Pytanko jak to ominąć, ponieważ wchodząc na stronę z poziomu przeglądarki wszystko działa, więc jakaś blokada na ip odpada a zapytanie do strony wysłam ze swoim user-agent (taki sam jak tej
Komentarz usunięty przez moderatora