Aktywne Wpisy
Javert_012824 +165
Sytuacja z Lęborka. Kto według was jest winnym tego incydentu?
#wypadek #polskiedrogi #samochody #motoryzacja #prawo #prawojazdy
#wypadek #polskiedrogi #samochody #motoryzacja #prawo #prawojazdy
Zaczytanaa +51
Do jakiego kraju chcielibyście wyemigrować/urodzić się i dlaczego akurat tam? U mnie w sercu niezmiennie od kilku lat Islandia - brak upałów, czyste powietrze, piękne krajobrazy i kolor niebieski na fladze
napisałem sobie spidera w #scrapy, na końcu skryptu utworzyłem funkcję:
def extract_data() -> str:process = CrawlerProcess()
process.crawl(JnkLFMSpider)
process.start()
return JnkLFMSpider.custom_settings['FEED_URI']
importuję funkcję do innego skryptu:
from moj_modul import extract_dataextract_data()i działa, 3 sekundy i dane pobrane :)
ale gdy chcę uruchomić
extract_datazmoj_modulprzezPythonOperatorw Airflow, to nie działa - log od razu pęcznieje do setek megabajtów, a jedyne co w nim widać to tysiące linii2022-02-20 21:48:32 [airflow.models.taskinstance.TaskInstance] WARNING: 2022-02-20 21:48:32 [scrapy.utils.log] INFO: Scrapy 2.5.1 started (bot: scrapybot); jakiś pomysł co z tym zrobić? :)