Czy macie jakieś materiały o budowaniu kompleksowych crawlerów? Zacząłem zagłębiać się w temat, ale cały czas są jakieś ale. Chciałem napisać kilka crawlerów obsługujących także SPA i SSRy, wyciągnąć dane, wrzucić do bazy, a cały projekt umieścić na jakimś serwerze i odpalać cyklicznie. Trafiłem na Scrapy'ego, ale do JSa potrzebuje Splasha lub Selenium i nie mam pewności czy to dobry kierunek. Poratuje ktoś stackiem + tutorialem w tej materii? Dzięki
#programowanie
  • 1
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Mireczki,

Próbuje dobrać się do tej bazy (Chciałbym ją całą pobrać na dysk).
Jestem amatorem websrappingu (zacząłem dzisiaj). Próbowałem osiągnać cel kilkoma pakietami R (rvest) np. Ale ni huhu nic nie wychodzi. Prosiłbym o jakieś naprowadzenie, czym się zainteresować, bądź jak się do tego zabrać.
Baza aptek z cofniętym zezwoleniem

#programowanie #webscrapping
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@kiwis: całkowicie poważnie - ta strona to jest DNO, pewnie jakbym usiadł to bym coś wykminił, ale za darmo to brzydzę się tykać - bardzo potrzebujesz tej bazy? Nie możesz jej dostać z jakiegoś innego źródła?
  • Odpowiedz