[PeteGlorious]

Mirki, napisałem web scraper który ma ściągać zdjęcia kitku z danej strony. Niestety ściągają się pierwsze 14 zdjęć i wywala błąd. Strona ma infinity scroll więc użyłem selenium i widzę że ładnie strona ładuje kolejne zdjęcia w chromie, ale ściągnięcie więcej niż 14 obrazów wykracza poza moje możliwości. Na StackOverflow nie uzyskałem satysfakcjonującej odpowiedzi. Macie pomysł jak to rozwiązać? Tutaj kod. #naukaprogramowania #python

[veranoo]

@PeteGlorious: zobacz co się dzieje w networku, jakie idą reqesty

[Bruno_]

@PeteGlorious a błąd gdzie, mamy wróżyć z fusów?

[PeteGlorious]

@Bruno_: właśnie miałem pisać. Błąd wygląda tak:

ResultSet object has no attribute '%s'. You're probably treating a list of items like a single item. Did you call findall()
when you meant to call find()?" % key
AttributeError: ResultSet object has no attribute 'findAll'. You're probably treating a list of items like a single item. Did
you call findall() when you meant to call find()?

[Testujese]

@PeteGlorious:
Dawno nie korzystalem z selenium ale wydaje mi sie, że:
pobierasz strone
page = requests.get(url) - to dziala poza selenium
a powinienes
driver.page_source - o ile dobrze pameitam tam dostaniesz kod 'zaktualizowany' po scrollu

[Bruno_]

@PeteGlorious a w którym miejscu?
P. S.
https://www.google.pl/amp/s/codingkilledthecat.wordpress.com/2012/06/26/how-to-ask-for-programming-help/amp/

[PeteGlorious]

@Bruno_: przepraszam, jestem zielony w tej kwestii.

line 26, in
image_tags = soup.findAll('img')

o to chodziło?

[Bruno_]

@PeteGlorious a spróbuj tam zamiast findAll to wpisać find_all

[PeteGlorious]

@Bruno_: próbowałem, dzieje się to samo. Przed chwilą dodałem 'while True:' zaraz przed 'x = 0' ale kiedy to zrobiłem to pierwszę 14 zdjęć zapisywało się w pętli wielokrotnie. :/

[PeteGlorious]

@Testujese: po Twojej sugestii pojawia się błąd:
'Traceback (most recent call last):
File "E:/PyCharmProjects/Dev/webscraper01/getkittens2.py", line 23, in
page = driver.pagesource(url)
TypeError: 'unicode' object is not callable'

[Testujese]

@PeteGlorious: Bo 'pagesource' to atrybut, nie metoda, wiec bez ().

URL do obiektu 'driver' podales w driver.get(url='https://www.pexels.com/search/kittens/'), wiec nie musisz go wciskac tam jeszcze raz

[askorek]

@PeteGlorious wyswietl sobie html tego co jest w driver i zobacz czy są tam twoje dalsze obrazki. Przeladowujesz dom po zrobieniu scrolla na dol?

[Bruno_]

@PeteGlorious: problem jest w tych linijkach:


soup = soup(page.text, 'html.parser')

image

[PeteGlorious]

@Bruno_: @askorek: @Testujese: dziękuję panowie, spróbuję wykorzystać wasze podpowiedzi i dam znać jak mi poszło :)

[Bruno_]

@PeteGlorious: https://paste.ofcode.org/gxKFUmLPjxw5Ek6Jdx77Vu
to działa, doszedlem do 380 zdjec i wylaczylem program wiec jest sukces! :3
musisz zrobic tylko filtrowanie zdjec zeby nie zapisywalo tych samych, no i nie wiem czy nie lepiej zescrollowac tam tyle ile uzytkownik chce zdjec i pobrac je dopiero

[Bruno_]

@PeteGlorious: mozesz wywalic 11 i 13* linijke plus zmienilem dlugosc sleep() na 2 bo nie chcialo mi sie czekac xD

[PeteGlorious]

@Bruno_: dzięki Karol ( ͡° ͜ʖ ͡°) w takim razie co zrobić żeby nie tworzyły się kolejne foldery 'kittens'? Bo obrazki się pobierają ale co jakiś czas tworzy się kolejny i kolejny i kolejny folder. A jeżeli wywalę zupełnie to co masz w swoim kodzie jako komentarz to nie zapisuje zdjęć w ogóle

[PeteGlorious]

@Bruno_: co więcej, teraz pętla to 46 zdjęć tylko każde 46 w nowym folderze

[Bruno_]

@PeteGlorious:



to co dalem jako komentarz to ci zapisuje zdjecia, zrobilem tak bo nie chcialem marnowac mojego cennego transferu na pobieranie 100 zdjec

[Bruno_]

@PeteGlorious: a no i jak skonczysz to koniecznie zreformatuj kod tak zeby byl czytelny, porozbijaj na funkcje itp i wrzuc na githuba

python imo jest ciezkim jezykiem jesli chodzi o estetyke, duzo bardziej pod tym wzgledem lubie jave, miedzy innymi przez to dosyc malo w pythonie koduje xD