[destyl]

Najlepsze sposób / biblioteka do napisania web crawlera w pythonie? Z zapisem do XML/JSON.


#programowanie #python #webdev

[GlenPL]

taktyk

ja używam beautifulsoup4

[n0vy]

taktyk.

[qbek]

@destyl: scrapy świetnie się sprawdza. Zależy jeszcze jak bardzo ubogacone w JSa są strony, które chcesz scrapować :)
Wspomniany BS4 już do samego parsowania htmla (może współpracować ze sprapym nawet :) )

[bmbcz01]

taktyk

[S.....i]

taktyk

[destyl]

( ͡°( ͡° ͜ʖ( ͡° ͜ʖ ͡°)ʖ ͡°) ͡°)

[Injection]

@destyl:

[kmiasko]

@destyl: Scrapy, można sparować z Selenium, PhantomJS do zaawansowanego JS'a.

[e.....e]

@destyl: BS4 i mechanize oraz dla pythona 3 RoboBrowser lub MechanicalSoup