[E.....e]

Chciałem sobie douczyć web scrapingu na własne potrzeby. Kiedyś coś dłubałem, ale to były modyfikacje istniejącego kodu, teraz chcę coś stworzyć od zera. Na froncie się nie znam. Czy stronka Airly ( https://airly.org/map/en/ - a konkretniej to linki do konkretnych sensorów które mnie interesują) będzie zbyt wymagająca dla takiego nowicjusza jak ja? Bo od wczoraj próbuję cokolwiek sensownego z niej wyciągnąć, ale idzie to topornie, do tego po czasie wychodzi weryfikacja Captcha. Próbuję z BeautifulSoup i Selenium, przy czym z Selenium jestem totalnym nowicjuszem. Dzięki za odp
#python #programowanie

[kimikini]

@ElMatadore: nie ogarniesz tego o wlasnych silach. jesli chodzi o captche to pewnie musialbys skorzystac z zewnetrznych API ktore to lepiej ogarniaja ale są płatne

[kimikini]

@ElMatadore: czesto tez dochodza blokowania requestow jak sie tworzy takie boty, trzeba to obchodzic proxy, za ktore czesto tez trzeba placic jakby co, nie wiem czy tutaj tez blokuja ale czesto na cos takiego sie trzeba przygotowac ;p

[E.....e]

@kimikini: ok dzięki, czyli tak jak myślałem. Mogę z czystą głową siąść do innych rzeczy :) Spróbuję zagadać do Airly czy by chcieli udostępnić historyczne dane na kilka miesięcy nawet za symboliczną opłatą

[ObrazoburczyKarczoch]

@ElMatadore: zależy do jakich celów, ale airly udostępnia fajne API i raczej nie ma problemów z dzieleniem się danymi. Wystarczy założyć konto z krótkim uzasadnieniem i jak przejdzie to masz bodajże 1000 requstów na dobę.

[E.....e]

@ObrazoburczyKarczoch: hmmmm ok, spróbuję się skontaktować z nimi, ja jak widziałem formularz do wypełnienia, to odebrałem to tak jakby płatność była czymś pewnym.

[ObrazoburczyKarczoch]

@ElMatadore: tak słyszałem, ale ja dostałem konto z pracy, więc mogę być w błędzie. Zapytać na pewno nie zaszkodzi :) Jakbyś miał jakieś pytania to pisz PW, dopiero co skończyłem to robić

[kimikini]

@ObrazoburczyKarczoch: jesli tak to kwestia wyciagniecia danych bedzie banalna. o ile 1k requestow ci wystarcza ;)

[E.....e]

@kimikini: nie no z API to na pewno dam radę wyciągnąć. Natomiast podpytam jeszcze o historyczne dane, niedługo sezon grzewczy się kończy to już nie będzie tak "ciekawie"