[carbonovski]

Krotka zabawa z danymi z otomoto, data scraping z 19 kwietnia 2022 dla najwazniejszych marek - 65916 rekordow. Z ciekawosci zerknalem na histogram przebiegu. Wyraznie widac ze najwiecej ofert jest nowych samochodow z zerowym/pomijalnym przebiegiem.

#samochody #python

[carbonovski]

@carbonovski: Zobaczmy co sie stanie jak odrzucimy te wartosci i wezmy na przyklad histogram od przebiegu 1000km. Czyżby działo sie coś dziwnego wokół magicznych 200tyś km przebiegu :)
Albo samochody powyżej 200k przebiegu znikaja z ofert albo magicznie oferowane są z innymi przebiegami :)

[masterix]

@carbonovski: z ciekawości: nie blokowali Cię za dużo requestów?

[trzy_razy_rzezucha]

@carbonovski chce ci się sprawdzić dla których przebiegów podany jest vin a dla ilu jest xxx?

[carbonovski]

@masterix: musze dzielic zapytania przy jednej sesji oraz zabawa z user ganetami oraz download delay.

[carbonovski]

@trzy_razy_rzezucha: bez vin lux z XXX, xxx.

[carbonovski]

@trzy_razy_rzezucha: z vin (bez validacji czy poprawny czy nie)

[Scutacarus]

@carbonovski ale to od dawna wiadomo że większość ma 189 albo 192 albo 198k przebiegu ;p

[Moron]

@masterix: eee oni się dają parsowac ( ͡° ͜ʖ ͡°) nic nie blokują, można jeździć po stronie

[GOHAN]

@carbonovski Scrapowales ostatnio VINy z ofert ? Ze 2 tygodnie temu zaczęli generować linki do AutoDNA javascriptem i nie umiem chyba sobie z tym poradzić :/ Wczesniej przuy uzyciu beautifulSoup wyciągałem VIN z adresu o tak

for url in urls:
 try:
 print('Scraping VIN of ' + url)
 time.sleep(2)
 page_vin = urlopen(url, context=ssl.create_default_context(
 cafile=certifi.where())) # fix certificate issue
 soup_vin = BeautifulSoup(page_vin, 'html.parser')
 vin = re.findall(
 r'(?<=vin=)(.*?)(?=\")', str(soup_vin.find('div', {'class': 'carfax-wrapper'})))
 if vin == []: