[malostkowy]

Hejka,uczę się pisania web crawlerów i mam problem z #beautifulsoup, a dokładnie z tym by zaciągnąć większą ilość danych gdy są one na stronie pobierane w tle (ajax?) tak jak w przypadku wykopu.
Gdy zaciągam źródło strony ładowane jest 50 pierwszych znalezisk dla danego tagu,więcej ładuje się po zescrollowaniu strony.
Co zrobić żeby załadować więcej znalezisk ? Do pobrania zawartości używam freamworka #requests

krótki kod tego co nabazgrałem: https://pastebin.pl/view/1677c573
bądźcie wyrozumiali, pythona uczę się całe 5 dni xd

#python #webdev #programowanie

[Wakun]

@malostkowy: moze to cos pomoze? https://blog.michaelyin.info/how-crawl-infinite-scrolling-pages-using-python/

[brakslow]

@malostkowy: jeśli to jakiś ajax to możesz użyć selenium. Jeśli tylko adres się zmienia, tak jak na wykopie, czyli wykop.pl/strona/2 to w pętli for podawaj kolejne adresy strony 2/3/4 itd

[cecyl]

@malostkowy: takie strony raczej mają sitemap.xml

[cl_master]

Taktyk

[malostkowy]

@Wakun: @brakslow: właśnie panowie problem polega na tym że na wykopie kolejne dane są pobierane requestem o url z generowanym unikalnym hashem
np.

[https://www.wykop.pl/ajax2/tag/znaleziska/programowanie/next/link-4552139//hash/15a7b185e9f1f235b7c088ed04d316e9-1548765862?_=1548765861495](https://www.wykop.pl/ajax2/tag/znaleziska/programowanie/next/link-4552139//hash/15a7b185e9f1f235b7c088ed04d316e9-1548765862?_=1548765861495) 

Nie chciałbym używać selenium bo to znacząco wpłynie na czas pracy skryptu i zasoby maszyny bo trzeba uruchomić przegladarke(nawet w trybie headless będzie działać dużo wolniej)