[fifiak]

Chce scrapowac dane z jsona lub html i logowac sie na tego weba(zaszyty user i haslo w skrypcie) i podtrzymywać sesje nastepnie te dane chce w formie metryk wyslac do prometheusa. Wszystko cjce zrobic w pythonie. Od czego mam zaczac, jakich bibliofek uzywac?
Rozumiem, że finalne dane nie musze eksportowac z pliku a bezposrednio z serwera localhost stworzonego skryptem? Ktos ma jakas wszechstronna baze wiedzy z wszystkimi bibliotekami i omówieniem ich?

#programista15k #programowanie #python #analityk #devops

[figus102]

@fifiak: Ja to robię bez pełnej znajomości pythona. Do logowania się na stronie używam tego
https://curlconverter.com/#
Tu jest requests.
Następnie szukam poradnika do scrapowania np Beautiful Soup i podstawiam według wzoru to co chcę scrapować. itd...

[Moron]

@fifiak: Session biblioteką request najpierw.

 LOGIN_URL = "http://www.e"
 URL = df['url'][i]
 print(URL)
 session_requests

[fifiak]

@figus102: a jak wyswietlic zawartosc tej strony ?
response = requests.get('https://internetowykantor.pl/kurs-euro/', headers=headers, cookies=cookies)

print( response.content) wyrzuca cos dziwnego b' ' ni ewiem co to

[figus102]

@fifiak: Wywala błąd 304. Tzn że stronę już pobrałeś i nie była modyfikowana od tego czasu. Przeglądarka powinna wczytać z pobranych zasobów.
Musisz w header:

headers = {
 'Connection': 'keep-alive',

[fifiak]

@figus102: o w mordę czego tu czlowiek się uczy. Muszę zaglebić się w pythona, ale nie wiem od czego zaczać gdzie te podstawy sa. Dzieki. Tu chyba temat nauki protokolu http

[figus102]

@fifiak: Ja przeczytałem to
https://jsystems.pl/static/andrzejklusiewicz/PNL.pdf
potem se wymyślam jakiś projekt prosty, ale który mi ułatwia coś tam. Jak wywala mi to po błędzie szukam odpowiedzi przeważnie na stackoverflow albo google z datą do ostatniego roku.

[fifiak]

@figus102: a zeby teraz wyciagnac z tego requesta kurs sprzedazy to mam zapoznac sie z jakas bilbioteka do wyciagania danych ? W bashu to by się z grepowało i wysedowała a w pythonie ?

[figus102]

@fifiak: Musisz wiedzieć jaki element strony to wyświetla. Ja to robie tak w chrome ctr+shift+j i w okienku po prawej elements. Rozwijając drzewo szukam interesującego mnie elementu. Potem używam biblioteki beautiful soup do wyszukania na stronie tego elementu i odpowiednio przefiltrowania.

[fifiak]

@figus102: dobry mam kod

4,4763

wyciagam to za

[figus102]

@fifiak:
print(results.text)

[figus102]

@fifiak: tam powinno być chyba
results=soup.find("div", class="bem-single-rate-box_item is-rate")
print(results.text)

[fifiak]

@figus102: musze poczytac o roznicach miedzy find all a find. Juz jest lepiej

Kurs kupna
USD

[fifiak]

@figus102 a da sie w locie usunac zbedne linie czy trzeba to zapisac do pliku i dopiero potem wyedytowac?

[figus102]

@fifiak: sprawdź jaki "result.text" to obiekt. print(type(results.text)). Jeśli string to użyj metody do string, jesli list to list itd.