[muskel]

#programowanie #python
Jeszcze raz ja.

Napisałem sobie scraperka do otomoto i raz mi zwraca 2 elementy a raz 4. Losowo
Reszta a kom

Tutaj kodzik
https://pastebin.com/raw/E6m8Z4bX

Łatwo obejść to ifem ale no muszę więcej zapytań do strony wysłać :/

[Solidly]

@muskel: z tego co widzę, to zwraca różne rekordy (porównując przebiegi), może po prostu w drugim przypadku te dwie ostatnie kolumny nie istnieją? Może spróbuj rzucić okiem na ogłoszenia, z których dane są wyciągane.

[muskel]

@Solidly nie nie nie

Odpal sobie go i zobaczysz
Losowo leci raz 4 a raz 2 i to na wszystkich rekordach.
Coś chyba zmieniali na otomoto dlatego no ale kurde dlaczego??

[Solidly]

@muskel: nie będę odpalał, ale Ty możesz sobie po prostu wejść na stronę, która zwraca wg Ciebie niepoprawne dane i zweryfikować

[p.....o]

@muskel: w pythonie nigdy nie robiłem ale pytanko co do ilości requestow. Nie możesz sobie stronki z ogłoszeniem całej zaciągnąć po wykonaniu wszystkich skryptów i wtedy mielić z cacha u siebie?
A co do tych kolumn no to bankowo wpadają jakieś dodatkowe kolumny

[Solidly]

@muskel: jak widzisz, to ogłoszenie zawiera tylko informację o roku i przebiegu; jest takich bardzo dużo

[muskel]

@Solidly o co chodzi wczoraj były 4 parametry a dziś są tylko 2 XDDDDD
Normlanke działał ten scraperek przez 2 miech dopiero od 2 dni coś wariuje.

[muskel]

@polikarp-ciasto chyba tak zrobię właśnie

[muskel]

@Solidly a ja mam teraz 4 o co chodzi XD a na androidzie na wersji desktopowej są 2

[muskel]

Może user-agenta trzeba określić czy coś nie wiem

[p.....o]

@muskel: jest takie narzędzie keyword:visual diff for website
To Ci może pomoże dostrzec różnice

[muskel]

@Solidly ale chodzi jeszcze że nawet jedno ogłoszenie się nie pojawi i potrafi się to 5 razy

zmienić raz dwa a raz cztery

Może na otomoto coś testują?

[p.....o]

@muskel: i tak jak mówiłem. Zaciagaj cała i wtedy ify i inne pierdoły na luzaku

[Solidly]

@muskel: bardzo prawdopodobne, że coś testują. Ogólnie to mogą rzucać różnymi wersjami dla różnych użytkowników, żeby coś zbadać, także no. Powodzenia ( ͡° ͜ʖ ͡°)

[p.....o]

@muskel: "Może na otomoto coś testują?" Ta bug albo biznes coś tam w głowę ucislo

[muskel]

@Solidly @polikarp-ciasto
będę musiał napisać dla świętego spokoju od nowa ale pod rss-a już albo ifem XD Tutaej rss (chyba): https://www.otomoto.pl/rss/osobowe/uzywane/?search%5Bfilter_float_price%3Afrom%5D=25000&search%5Bfilter_float_price%3Ato%5D=35000&search%5Border%5D=created_at_first%3Adesc&search%5Bbrand_program_id%5D%5B0%5D=&search%5Bcountry%5D=

[qusqui21]

@muskel: a czy pisanie scraperow, nie jest nielegalne? (obciazasz infrastrukture właściciela, nie korzystając zgodnie z przeznaczeniem)

[muskel]

@qusqui21 równie dobrze mógłbym co 5 min odświeżać stronę i pełno jest płatnych apek co scrapuja strony. Ja jeszcze lecę na proxy i każde nowe zapytanie jest z innego IP wyjebka

[bungaBunga]

Ta bug albo biznes coś tam w głowę ucislo

@polikarp-ciasto: Niby czemu?
Normalne testowanie A/B mogą robić (np. żeby zobaczyć który układ graficzny bardziej ludzi interesuje).

[p.....o]

@bungaBunga: czasów jest milion. @muskel daj znać jak poszło