[Chodtok]

hejo programistyczne świry

kiedy chcę dobrać się np do wpisów na pierwszej stronie gorących to robię

from bs4 import BeautifulSoup

import requests

response = requests.get('https://www.wykop.pl/mikroblog/hot/ostatnie/6/')

soup = BeautifulSoup(response.text, "html.parser")

czy coś w tym stylu prawda

a co jeśli chcę zescroblować np http://www.wykop.pl/naruszenia/moje/ czy ogólnie jakąś stronę wymagającą bycia zalogowanym
jakie jest najlepsze rozwiązanie

#programowanie #python

[xulek]

@Chodtok: zrób sesje przez requests.Session() i pierw wykonaj logowanie na wykopie w jednym request, a później w drugim pobierz zawartość strony. Jest też jakieś API dostępne z wykopu, może z niego da się wydobyć to czego potrzebujesz, to byłby najlepsza opcja raczej

[spokoj]

@Chodtok: http://docs.python-requests.org/en/master/user/advanced/
Ewentualnie ręcznie dodawać ciastko z sesją do każdego zapytania, wykop ma też api jeśli zależy ci na ściąganiu treści.

[Chodtok]

Jest też jakieś API dostępne z wykopu, może z niego da się wydobyć to czego potrzebujesz, to byłby najlepsza opcja raczej

no tak ale nie wszystko jest w api
np zawartości http://www.wykop.pl/naruszenia/moje/ nie ma

w każdym razie dziękuję poeksperymentuję

@xulek:

[Chodtok]

jw

@spokoj:

[sokytsinolop]

@Chodtok: najprościej będzie zastosować tzw. session jar, działa to tak jak nazwa sugeruje masz pewną sesję requests która zapisuje ciasteczka z odpowiedzi serwera / serwerów i używa ich jak przeglądarka. Nie wiem dokładnie jak to działa w pythonie, ale to pytanie z pewnością może pomóc

https://stackoverflow.com/a/6930182/4183352

później za każdym razem gdy zajdzie potrzeba wysyłasz sobie request logujący na wykop i wtedy w odpowiedzi dostajesz ciasteczka autoryzujące które automatycznie masz w "słoiku"

[sokytsinolop]

@Chodtok: przeczytałem link od spokoja i requests.Session to to czego potrzebujesz

[Chodtok]

ok to jeszcze jedna wątpliwość
czy trzymanie swojego hasła w kodzie i przesyłanie go do wypoku przez requests jest bezpieczne
jak ew zrobić żeby było bezpieczne

@xulek: @spokoj: @sokytsinolop:

[spokoj]

@Chodtok: Jeśli jest to skrypt tylko dla ciebie to spoko, jak łączysz się po ssl czyli masz linki https to jesteś bezpieczny, to tak samo jakbyś się logował normalnie przez stronę.

[sokytsinolop]

@Chodtok: w kodzie raczej go nie trzymaj ale w jakimś configu / pliku środowiska