[qubas89]

Piszę swój pierwszy w życiu skrypt do web scrapingu i napotkałem pewien problem. Tak wygląda struktura mojej strony: https://pastebin.com/yPRJtxXu Moim zadaniem jest pobranie wszystkich plików pdf i mat ze strony, niestety nie wiem jak głęboko są one zagnieżdżone. Tutaj mój aktualny kod: https://pastebin.com/wfb6FJ8a Skrypt działa dopóki nie znajduje peirwszego pliku pdf. Problem polega na tym, że jak znajduje pierwszy plik pdf to nie iteruje dalej tylko dokleja do jego ścieżki kolejne hrefy czyli w tym przypadku plik mat i dalej dzieje się to samo dla kolejnych ścieżek, też są posklejane z poprzednimi. Pierwszy raz w życiu robię web scraping i rekurencję, nie wiem czy nie przegiąłem jak na jeden razy :D. Nie jestem w stanie dać linku do strony bo to wewnętrzna stronka w pracy, nawet na służbowym lapku nie działa.

#python #naukaprogramowania

[g.....a]

@qubas89: Uwaga wirus w linku.

[qubas89]

@giguga: ?

[wojna_informacyjna]

@qubas89: For loop i lecisz ja korzystalem ze Scrapiego i on mial (4/5lat temu) wbudowane rozwiazania do automatycznej iteracji ( ͡º ͜ʖ͡º)

[g.....a]

@qubas89: jak wchodzę w twojego linka to mi pies szczeka w mieszkaniu. Coś tam jest co mi straszy psa.

[qubas89]

@wojna_informacyjna: no ok, ale jak za pomocą zwykłej pętli sprawić, żeby program cofał się katalog wcześniej?

[wojna_informacyjna]

https://docs.scrapy.org/en/latest/topics/selectors.html Nie napisze za ciebie programu ale jak skorzystasz ze scrapiego to predzej czy pozniej ogarniesz ( ͡° ͜ʖ ͡°)