[J.....L]

#programowanie #naukaprogramowania #selenium #python wchodzę na https://login.aliexpress.com/ wchodze na frame = browser.findelementby_id("alibaba-login-box") i lokalnie na django wszystko mi działa dobrze - dalej mogę przełączyć się na frame i kontynuować czynności . Natomiast jak odpalam skrypt na płatnym vps na #pythonanywhere poprzez pyvirtualdisplay to wyskakuje niżej wymieniony błąd. W czym tak naprawdę tkwi problem ? aliexpress jest w react i muszę jakieś dodatkowe informację przezysłać w headerze ? bo z samym serwisem to trzeba było się namęczyć, bo poszczególne divy z wyników pojawiały się w inspektorze dobiero gdy użytkownik zescrolował do ich wysokości - co wiązało się z pętlą odpowiedniego skryptu który, przewijał cały ekran i dopiero na końcu można odczytać zawartość. jednak jak to się ma do ekranu logowania ?

[leszek_SK]

@JungleJamPL ktos tu pisze bocika ( ͡º ͜ʖ͡º)

[J.....L]

@leszek_SK: nic obciążającego system. 3-4 strony danych i koniec. Maksymalnie raz na dzień. Próbowałem w requestach ale się nie dało. Selenium działało ale lokalnie. Na serwerze tez działa selenium i każdą stronę odczytuje normalnie ale pech chciał, że w przypadku tej konkretnie witryny mowa o aliexpress jest inaczej .

[Verbatino]

@JungleJamPL: Skoro działa lokalnie to zapewne pythonanywhere jest na blackliście ¯\_(ツ)_/¯

[J.....L]

@Verbatino: da się to jakoś sprawdzić ? moze w pliku robots.txt

[J.....L]

@Verbatino: coś takiego znalazłem . Nie ma to python anywhere wypisanego :) co prawda nie ma selenium ale jest ajax
User-agent: *
Disallow: /bin/*
Disallow: /search/*
Disallow: /wholesale*
Disallow: /productdetail/*
Disallow: /api/*
Disallow: /api*.do
Disallow: /apps/*
Disallow: /downloads/*
Disallow: /wishlist/*
Disallow: /shopcart/*
Disallow: /brands/*
Disallow: /premium/*
Disallow: /cp/*
Disallow: /item-img/*
Disallow: /product/*
Disallow: /p4p*list.html
Disallow: /orderList.html
Disallow: /ws*api-server.html$
Disallow: /*mmend.htm$
Disallow: /*Ajax.htm$
Disallow: /*ajax.htm$
Disallow: /store/*ajax.htm$
Disallow: /detail/*Ajax.do$
Disallow: /ajax*.do$
Disallow:

[Verbatino]

@JungleJamPL: WTF człowieku (⌐ ͡■ ͜ʖ ͡■) Co wspólnego ma robots.txt z dostępem klienta http?!?

[hitherto]

@JungleJamPL a lokalnie sprawdzałeś na virtualdisplay czy na ekranie? Może inny ekran logowania być w innej rozdzielczości.

Jak czekasz na ten element? Na vps może działać wolniej albo szybciej niż u Ciebie.

Z rzeczy które sprawiają problemy masz też inne locale na wirtualce, inną wersję przeglądarki, może być captcha.

Zrób sobie screenshota FirefoxDriverem przed błędem to zobaczysz co się dzieje.

[J.....L]

Może inny ekran logowania być w innej rozdzielczości.

na to nie wpadłem

Zrób sobie screenshota FirefoxDriverem

wartościowa uwaga. szanuję.

skończyło się na tym, że wygrzebałem obiekt z wynikami w java scripcie, który przylatuje razem z każdym requestem i przekształciłem na słownik w pythonie ze wszystkimi danymi.


@hitherto:

[leszek_SK]

@JungleJamPL podpowiedz jak wyciagnac dane z obiektu javascript

[albertizzley]

@JungleJamPL: skoro lokalnie dziala a na vpsie nie to sprawdzilbym timeout, pewnie na vps dluzej sie strona laduje niz z locala a twoj skrypt juz elementu szuka zanim wczytal sie do dom'a, upewnij sie ze jestes na wlasciwej stronie zanim poszukasz elementu