[Griffith]

Są tu eksperci od webscraping? Napisałem taki kawałek kodu, ale przy 21/22 linku wywala mi errory typu "ConnectionError: Connection is closed" lub "pyppeteer.errors.NetworkError: Protocol Error (Page.navigate): Session closed. Most likely the page has been closed.". Co można z tym zrobić, żeby sczytało wszystkie dane bez wyrzucenia errora? #python #naukaprogramowania

[Malcolmpl]

@Griffith: Funkcja render posiada parametry. Zapewne strona zamyka ci sesję. Masz tam taki parametr jak keep_page, użyj go, tylko nie zapomnij ręcznie zamykać strony.

[Griffith]

@Malcolmpl: Zmieniłem na source.html.render(keep_page=True), a na końcu pętli for napisałem source.close(). Przy 20 stronie znowu error :(

[A.....c]

@Griffith: może za dużo ciśniesz tych requestów? zaimportuj time i daj sleep(2) na końcu pętli

[Griffith]

@Astroc: dałem nawet sleep(5) i przy 4 linku wyskoczyło w konsoli "pyppeteer.errors.NetworkError: Protocol error Target.createTarget: Target closed." ( ͡° ʖ̯ ͡°)

[Griffith]

@Malcolmpl: @Astroc: Zrobiłem też coś takiego, ale i tak nie pomaga:
while True:
try:
source

[A.....c]

@Griffith: wygląda na problem z biblioteką według mnie (ale ja juniorski poziom mam). Próbowałeś to puszczać py2?

[A.....c]

@Griffith: sam scrapuje czymś takim https://scrapy.org/

[A.....c]

@Griffith: no i jeszcze jedna rzecz nie łatwiej jest requestem zaciągnąć stronę i przetworzyć poprzez beautiful soup?

[Griffith]

@Astroc: request i BS nie odczytują JavaScript

[A.....c]

@Griffith: no tak.. a selenium z bs?

[Griffith]

@Astroc: Chyba pozostało mi przejrzeć dokumentację selenium i przepisać wszystko ;p Szkoda, a już chciałem zrobić sobie bazę danych z tego i zacząć robić projekt w django.

[A.....c]

@Griffith: powodzenia xd jak będzie chodzić to.pokaz