zalozyc_bukmacherke_w_afryce
Jakiś gotowy scraper do goldenline?

#crawler #scraping #programowanie
  • Najlepsze
  • Wszystkie komentarze
dziekuje
@zalozyc_bukmacherke_w_afryce: Nie, ale jak chcesz to mogę coś klepnąć.
ronek22
ronek22
Siema,
Chce zbierać dane o sprzedawanych samochodach osobowych.
Warto się przez te ich rest api podpinac czy mają jakieś limity?
Czy napisać coś swojego w pythonie?

#crawler #scraping #webdev #rest
  • Najlepsze
  • Wszystkie komentarze
ArtekMisiek
ArtekMisiek
@ronek22: a jakiego api dotyczy pytanie?
ronek22
ronek22
ronek22 Autor
0
xDrope
Czy macie jakieś materiały o budowaniu kompleksowych crawlerów? Zacząłem zagłębiać się w temat, ale cały czas są jakieś ale. Chciałem napisać kilka crawlerów obsługujących także SPA i SSRy, wyciągnąć dane, wrzucić do bazy, a cały projekt umieścić na jakimś serwerze i odpalać cyklicznie. Trafiłem na Scrapy'ego, ale do JSa potrzebuje Splasha lub Selenium i nie mam pewności czy to dobry kierunek. Poratuje ktoś stackiem + tutorialem w tej materii? Dzięki
#programowanie
  • Najlepsze
  • Wszystkie komentarze
Nicarim
Nicarim
@xDrope jezeli to jest SPA / SSR to sprobuj znalezc API z ktorego korzysta do ściągania danych ;)
mikrey
#traktorboners #crawler #fowler

Patronstart Field Marshall Fowler
  • Najlepsze
  • Wszystkie komentarze
mikrey
mikrey Autor
1
@mikrey: a tutaj odnowiony
destyl
Podczas zapisu do bazy mam dzinwe kodowanie ( swoją drogą query tez ma dzinwe ), wrzucam do bazy:

INSERT INTO announcments (title) VALUES ( 'Pokój 7,5M2 Warneńska,WOLNE OD ZARAZ')
a w bazie faktycznie ląduje taka wartość

Pokój 7,5M2 Warne?ska,WOLNE
  • Najlepsze
  • Wszystkie komentarze
januzi
@destyl: Struktura tabeli, kolumna na tekst, collation = utf8_general_ci
januzi
@destyl: Jak to Twoja baza, to przestaw debilny latin1swedish na globalny utf8; wtedy każda nowa tabela będzie miała domyślnie utf8 w kolumnach tekstowych i nie będziesz musiał martwić się o ciągłe poprawianie
B.....s
B.....s
Treść przeznaczona dla osób powyżej 18 roku życia...
  • Najlepsze
  • Wszystkie komentarze
macrusher
@Bunis: PhantomJS + CasperJS i możesz sam sobie szybko coś takiego napisać :)
m.....t
m.....t
@Bunis: brand24 oferuje takie usługi