[wcaleniepchamsiewmultikonto]

Mireczki. Mam dostep do #wykopapi i chce zebrac wszystkie wpisy na mikroblogu z tagu o samochodach z ostatnich 2 lat i zrobic wykres/policzyc ile dane slowo wystapilo w komentarzach/samym wpisie np. ford mondeo w ciagu tego okresu.

Czy ktos robil cos podobnego?
Jak sie do tego zabrac w ogole?

Sa jakies gotowe narzedzia do podobnych zabaw?

Moge lokalnie postawic lokanie cokolwiek co to pokaze np. Grafana/Prometheus ale chcialbym zrobic to szybko i skutecznie, aby w efekcie wyszlo mi np. ze ford mondeo byl najczesciej polecanym modelem samochodu.

taguje rowniez #pracait #programowanie #kiciochpyta dla zasiegu

[BArtus]

@wcaleniepchamsiewmultikonto jest tu parę osób które scrapuje wykop od lat, np. @czoo albo ja.
A najlepszy toolchain to curl i regex 😏

[chybaDapi]

@wcaleniepchamsiewmultikonto api ma limity odnawiane co godzinę, więc to może być ograniczeniem przy dużej liczbie requestów. Warto o tym pamiętać, żeby móc pobierać dane paczkami.

[WykopX]

@wcaleniepchamsiewmultikonto Niedługo będzie można zrobić dokładnie to co chcesz uzyskać w aplikacji do przeszukiwania Wykopu, którą mam w planach zrobić:

https://github.com/wykopx/WykopX/wiki/#select-x-from

Odpisuję po 4 godzinach, więc pewnie już dawno zrobiłeś b to co chciałeś, no ale dobra. Trzeba pobrać wszystkie wpisy z tagu i odfiltrować te, które mają nazwy samochodów. Proste.

[chybaDapi]

To nie jest prawda.

@WykopX: są 3 rodzaje limitów: per aplikacja, per IP i per user. Jedyne co, to możliwe, że są odnawiane szybciej niż co godzinę.

[BArtus]

@chybaDapi @WykopX Jak wykop 2.0 wchodził to nie było żadnych limitów 🥲 scrapowało się ±100 requestów na sekundę i cały wykop od momentu powstania w parę dni się ściągał.

[Oo-oO]

@BArtus: trzeba tylko zunifikować te różne mirrory, by uzupełnić pousuwane wątki ( ͡° ͜ʖ ͡°)

[WykopX]

@Oo-oO daloby się, tylko czy jest sens żeby to robić? :)
PS. Fajny masz login

@BArtus @chybaDapi @czoo @tyrytyty
Ja to bym chciał was nieskromnie podpytać jaki pomysł wymyśliliście na scrapowanie aktualnych komentarzy pod wpisami (ew. pod znaleziskami) ( ͡º ͜ʖ͡º)

[wcaleniepchamsiewmultikonto]

@BArtus serio? Co za gonwo to api. Czyli curlem request, wyciaganie wartosci sedem czy regexem i sleep aby ban nie polecial?
@chybaDapi jaki jest limit requestow? Znasz tak z glowy? Nie szukalem jeszcze w docs.
@WykopX o masz, dzieki wielkie. Chce sie zabrac za to w piatek i zerkne to co napisales, chwilowo nie mam dostepu do kompa aby to przeklikac.

Jest jakis tag do scrapujacych? Z ciekawych rzeczy

[Oo-oO]

@WykopX: dzięki. Wbrew pozorom, jakby odsiać ziarna od plew ;) to można niekiedy ciekawostki wyciągnąć, starałem się je zebrać na https://github.com/O-ovo-O/wykop_faq ale wiadomo, za dużo roboty, za mało czasu.

[WykopX]

@Oo-oO o, no proszę! Swietna sprawa, czemu się tym nie chwaliles i nigdy tego nie widziałem na tagu #wykop?

Zerknij na moje, bo też mam, przykładowo:
https://github.com/wykopx/WykopX/wiki/Tagi-na-Wykopie

[Oo-oO]

@WykopX: bo czym tu się chwalić, to ledwie próba uporządkowania chaosu, zawracanie kijem rzeki. Gdyby zadziałał hive mind i choć kilka osób dorzuciłoby cegiełkę lub dwie, to może liczba powtarzających się pytań o to samo by zmalała. A tak - to taka walka jak Rybeczki z ludźmi postującymi byle co na tagu elektronika :)

To też odpowiada na pytanie czy warto "przywracać" wątki - w sumie sam się nieraz zastanawiałem.

[wcaleniepchamsiewmultikonto]

@Oo-oO Dzieki za komentarze i pomoc!! Nie usuwam swojego wpisu jakby co :)