[Marek_Kodrat]

Hej, stworzyłem wczoraj wieczorem bota Selenium + seleniumwire + chromedriver
Miał zbierać info z Allegro i działał. rotacyjne headery i proxy
A dzisiaj już nie działa. Wie ktoś dlaczego? Teraz wyskakuje na chwilę żeby aktywować JS a potem wykrywa bota.

#programowanie #webstuff #python

[Wychwalany]

@Marek_Kodrat: no allegro ma zabezpieczenia. A przez ich API nie wyciagniesz tych informacji?

[ch1nczyk]

@Marek_Kodrat Może ci IP na Black listę dodali przy zbyt dużej ilości połączeń w jednostce czasu

[Marek_Kodrat]

@Wychwalany: Nie ma szans. Ale czemu wczoraj działało?
@ch1nczyk: wykupiłem nowe proxy dziś i nie działa.

[Wychwalany]

@Marek_Kodrat: nie wiem dokladnie o co chodzi, ale jest jakis identyfikator sprzetu na podstawie ktorego blokuja, widza ze kombinujesz z tego samego sprzetu.

[kuite22]

@Marek_Kodrat: dom jest dynamiczny i sie zmienia, w jaki sposób selectory masz napisane

[Marek_Kodrat]

@kuite22: Xpath

[lubie_placki777]

@Marek_Kodrat:
Czy w ogóle allegro serwuje Ci doom gdzie masz info które Cię interesuje, czy jakaś stronę z informacją, że jesteś zbanowany?
Sprawdź https://github.com/ultrafunkamsterdam/undetected-chromedriver
Sprawdź czy działa jak masz headless i headfull browser. Pyvirtualdisplay + headfull browser może rozwiązać sprawę, ale niekoniecznie.

Na początek poszukałbym rozwiązania które działa bez proxy, później testy na różnych proxy żeby dojść czy przyczyną jest Twój bot,

[Marek_Kodrat]

@lubie_placki777: odrazu że jestem zbanowany, na undetectedchronedriver to samo. Najbardziej mnie zastanawia ze wczoraj działało a dziś już nie mimo że wczoraj tylko wszedłem automatem do allegro i pobrałem jedną dane. Nic co miałoby wzbudzić jakieś limity

[Marek_Kodrat]

@lubie_placki777: w domyśle ma chodzić po Allegro więc Selenium musi być.

[Marek_Kodrat]

@lubie_placki777: Zanczy sory, undetected chromedriver wypluwa "Please enable JS and disable any ad blocker"

[av18]

A próbowałeś uruchomić z parametrami? Kod poniżej nie jest w Python, bo programuję w innych językach, a do tego na przeglądarkę Edge, ale można przetłumaczyć:
$options = New-Object OpenQA.Selenium.Edge.EdgeOptions
$options.AddArgument("javascript.enabled")
$options.AddArgument("cookies.enabled")
$driver = New-Object OpenQA.Selenium.Edge.EdgeDriver($driverService, $options)

[Marek_Kodrat]

@av18: tak, z tego co się dowiedziałem to allegro pod tym względem to topnotch