[Marek_Kodrat]

Hej, stworzyłem wczoraj wieczorem bota Selenium + seleniumwire + chromedriver
Miał zbierać info z Allegro i działał. rotacyjne headery i proxy
A dzisiaj już nie działa. Wie ktoś dlaczego? Teraz wyskakuje na chwilę żeby aktywować JS a potem wykrywa bota.

#programowanie #webstuff #python

[Wychwalany]

@Marek_Kodrat: no allegro ma zabezpieczenia. A przez ich API nie wyciagniesz tych informacji?

[ch1nczyk]

@Marek_Kodrat Może ci IP na Black listę dodali przy zbyt dużej ilości połączeń w jednostce czasu

[Marek_Kodrat]

@Wychwalany: Nie ma szans. Ale czemu wczoraj działało?
@ch1nczyk: wykupiłem nowe proxy dziś i nie działa.

[Wychwalany]

@Marek_Kodrat: nie wiem dokladnie o co chodzi, ale jest jakis identyfikator sprzetu na podstawie ktorego blokuja, widza ze kombinujesz z tego samego sprzetu.

[kuite22]

@Marek_Kodrat: dom jest dynamiczny i sie zmienia, w jaki sposób selectory masz napisane

[Marek_Kodrat]

@kuite22: Xpath

[lubie_placki777]

@Marek_Kodrat:
Czy w ogóle allegro serwuje Ci doom gdzie masz info które Cię interesuje, czy jakaś stronę z informacją, że jesteś zbanowany?
Sprawdź https://github.com/ultrafunkamsterdam/undetected-chromedriver
Sprawdź czy działa jak masz headless i headfull browser. Pyvirtualdisplay + headfull browser może rozwiązać sprawę, ale niekoniecznie.

Na początek poszukałbym rozwiązania które działa bez proxy, później testy na różnych proxy żeby dojść czy przyczyną jest Twój bot, czy proxy.

P.S. Rotacyjne headery to kiepski pomysł, headery

[Marek_Kodrat]

@lubie_placki777: odrazu że jestem zbanowany, na undetectedchronedriver to samo. Najbardziej mnie zastanawia ze wczoraj działało a dziś już nie mimo że wczoraj tylko wszedłem automatem do allegro i pobrałem jedną dane. Nic co miałoby wzbudzić jakieś limity

[Marek_Kodrat]

@lubie_placki777: w domyśle ma chodzić po Allegro więc Selenium musi być.

[Marek_Kodrat]

@lubie_placki777: Zanczy sory, undetected chromedriver wypluwa "Please enable JS and disable any ad blocker"

[av18]

A próbowałeś uruchomić z parametrami? Kod poniżej nie jest w Python, bo programuję w innych językach, a do tego na przeglądarkę Edge, ale można przetłumaczyć:
$options = New-Object OpenQA.Selenium.Edge.EdgeOptions
$options.AddArgument("javascript.enabled")
$options.AddArgument("cookies.enabled")
$driver = New-Object OpenQA.Selenium.Edge.EdgeDriver($driverService, $options)

[Marek_Kodrat]

@av18: tak, z tego co się dowiedziałem to allegro pod tym względem to topnotch