[xDrope]

Czy macie jakieś materiały o budowaniu kompleksowych crawlerów? Zacząłem zagłębiać się w temat, ale cały czas są jakieś ale. Chciałem napisać kilka crawlerów obsługujących także SPA i SSRy, wyciągnąć dane, wrzucić do bazy, a cały projekt umieścić na jakimś serwerze i odpalać cyklicznie. Trafiłem na Scrapy'ego, ale do JSa potrzebuje Splasha lub Selenium i nie mam pewności czy to dobry kierunek. Poratuje ktoś stackiem + tutorialem w tej materii? Dzięki
#programowanie #webscrapping #crawler

[Nicarim]

@xDrope jezeli to jest SPA / SSR to sprobuj znalezc API z ktorego korzysta do ściągania danych ;)