[kaczoor]

#programowanie #java #naukaprogramowania
jakie biblioteki w Javie polecacie do web scrapingu? Dopiero się uczę tego, więc chodzi mi o takie podstawowe, ale tez dobrze udokumentowane i przede wszystkim sprawdzone. Jsoup będzie ok?
Chciałbym na początek ściągnąć np. cenę danego przedmiotu ze strony Decathlona, a potem raz dziennie odpalać programik, żeby sprawdzał czy cena się zmieniła.

Jeżeli macie jakies fajne poradniki w tym temacie (web scraping) to chętnie je obejrzę/poczytam. Na razie bazuje hinduskich filmikach z yt, ale wolę się upewnić, że korzystają z normalnych technologii xD

[LazyInitializationException]

@kaczoor: do stron spa to Selenium

[psposki]

@kaczoor: @LazyInitializationException: W---------z się do api i pytasz o cenę danego SKU
tu przykład:
https://www.decathlon.pl/pl/ajax/nfs/prices/online?skuIds=4227831
Sku sobie w ruchu sieciowym obadasz albo podebuguj skąd biorą sku bo mi się nie chce aż tak tego rozgryzać

[LazyInitializationException]

@psposki: dobry sposób

[DoubleAxxis]

@kaczoor: Ja programuję całe życie w Javie, ale do scrapowania przesiadłem się na Pythona, bo nadaje się do tego o wiele lepiej. Słowo klucz -> BeautifulSoup. Polecam ( ͡° ͜ʖ ͡°)

[kaczoor]

@psposki: skąd wziałeś ten SKU? Skąd wiedziales jak odpytac api decathlonu? Dla mnie to zupełna nowość xd możesz mi to wytłumaczyć na przykładzie tego produktu? https://www.decathlon.pl/p/niskie-skladane-krzeslo-kempingowe-mh500-xl/_/R-p-303229?mc=8512943&c=Szary

[kaczoor]

@DoubleAxxis: ja właśnie chcę poćwiczyć javę i porobić projekciki. Nic komercyjnego czysta nauka. Ale pewnie tak jest, że python lepszy do takich rzeczy ( ͡° ͜ʖ ͡°)

[Thiocomaster]

@kaczoor: python bliblioteka scrappy albo beutifoulsoup, a nie jakaś java xd

[psposki]

@kaczoor: Z ruchu sieciowego, z ruchu sieciowego, użyj ruchu sieciowego ( ͡° ͜ʖ ͡°)
F12 -> network -> odśwież stronę i zobaczysz co się dzieje na linii przeglądarka <-> serwer
na szybko w załączniku

[kaczoor]

@psposki: ok mam, dzięki. W ogóle nie wiedziałem, że sa jakies numery SKU. Ale skąd wiedziałeś pod jaki link wejść, żeby odpytać API decathlonu? A gdyby to było np. Allegro?

[psposki]

@kaczoor: nie wiedziałem, poszukałem, allegro jak na szybko patrzę to wysyła cenę już w stronie więc musisz sobie napisać jakieś selectory do tego, ale jak dokładnie to nie wiem bo nigdy żadnych web scrapperów nie pisałem

[depay]

@kaczoor: Allegro tez ma swoje api.