[rotero]

Mirki chcę napisać crawlera, który chodzi po określonych stronach i wyciąga z nich określone informacje w określonych odstępach czasu (chodzi wg adresu URL i parametrów GET w URL). Chciałbym mieć możliwość ustalania co taki crawler ma odwiedzać, wskazywania które części strony mają być wyciągane i np. wrzucane do bazy danych czy pliku tekstowego.

Przykładowo, taki crawler wchodziłby na www.wykop.pl i wyciągał tytuł wpisu, autora, a następnie wchodził do danego wpisu i wyciągał najbardziej punktowaną odpowiedź (czyli parsowanie www.wykop.pl oraz znalezionych URL).

Kojarzy ktoś coś w tym kierunku, albo może polecić? Albo są już gotowe narzędzia, które da się jakoś sparametryzować?
Zasadniczo to byłoby coś jakby AdBlock/uBlock tylko działające w drugą stronę - nie blokujące części strony, tylko zapisujące gdzieś te części na dysku a ignorujące resztę.

#programowanie #naukaprogramowania #javascript #python #php #webdev #webstuff sorry jeżeli któryś tag użyłem nieprawidłowo

[Dar_Q]

@rotero: Scrapy

[rbielawski]

@Michaukso może będzie w stanie pomóc

[anzeeen]

Możesz zobaczyć Requests i BeautifulSoup

[mirunek]

@rotero w php użyt goutte ;)

[tptak]

@rotero: akurat wykop ma api i crawler mija się z celem.
Ja pisałem w pythonie z simplehttpparser.

[rotero]

@tptak: to był przykład, nie chodzi mi o wykop.
A masz to swoje jeszcze, ewentualnie możesz udostępnić?

[macza]

@rotero: selenium łatwo wyklikać, python + https://scrapy.org/ + celery i masz pro apkę.

[tptak]

@macza: nie mogę, to nie mój kod (umowa o dzieło)