[m.....2]

Mirki. Piszę sobie mały web crawler. Zapisuję dane z wszystkich stron z witryny do csv. Przy każdym uruchomieniu program za każdym razem nadpisuje dane od nowa do pliku. Jak napisać skrypt, który ściąga dane co kilka dnia nie za każdym uruchomieniem programu? Nada się tutaj moduł np. schedule?

#programowanie #python #naukaprogramowania

[gostop]

jeśli masz skrypt umieszczony na jakimś serwerze chyba najłatwiej będzie ustawić cron'a

[kici666]

@michal42: możesz zapisywać do pliku z datą i godziną, wtedy za kazdym odpaleniem będziesz posiadać osobne pliki

[m.....2]

@kici666: Też tak może być. Ale chodzi mi bardziej o to aby nie robić niepotrzebnie request do strony za każdym uruchomieniem programu. Bo to trwa aby zebrać tysiące wierszy danych za każdym razem.

[Krasiu]

@michal42: nada się, ale cron na systemach unixowych, lub Task Scheduler na Windowsie będzie lepszy.

[m.....2]

@gostop: Możesz napisać coś więcej o tym? Z tego co czytałem to dobrym zamiennikiem będzie właśnie schedule?

[l.....i]

@michal42:

from twisted.internet import defer, reactor

@defer.inlineCallbacks

def main(interval=3600):

....try:

........do_crawler_shit()

....except Exception as err:

........log_error(err)

....yield reactor.callLater(interval, main, interval)

reactor.callWhenRunning(main)

reactor.run()

[m.....2]

@luzny_lori: Dzięki, jak będę miał chwilę to sprawdzę ten moduł.

[M.....o]

@michal42: Możesz zapisywać datę wykonania skryptu w wynikach (jeśli to możliwe) albo osobnym pliku i po prostu sprawdzać czy minął już odpowiedni czas ;) Ale osobiście bym użył Task Scheduler jeżeli Winda

[m.....2]

@MakuZo: Dobry pomysł. A jak byś napisał skrypt, gdzie powiedzmy inny użytkownik uruchamia program i nie musi się martwić o bazę danych, uaktualniałaby się ona sama powiedzmy co tydzień.