[blacktyg3r]

#programowanie #python #scraping #beautifulsoup

Siemka, jest sprawa - dobiłem do ściany i potrzebuję żeby ktoś wskazał kierunek :/.

SEDNO: oglądam tutoriale i próbuję nauczyć się przy pomocy pythona i bs4/ scrapy zebrać dane z giełdy kryptowalut i za cholerę nie umiem - poradniki zawsze omawiają na bazie stosunkowo prostych stron i z tym nie mam problemu, ale jak przychodzi do real-life zazwyczaj dostaję [ ]...

MORE: Jakiś czas temu ogarnąłem swój mały projekcik epic-ticker.tech, którego zadaniem jest zbieranie informacji o niszowej i nieistotnej kryptowalucie. Do tej pory robiłem do za pomocą API Coingecko, niestety okazuje się że wiele ich danych jest totalnie z czapy i nie pokrywa się z rzeczywistością (obrót giełd na przykład). Nie ma niestety innej strony z API, więc pozostaje web scraping. I tu pojawia się problem, obejrzałem parę tutoriali, przeczytałem trochę artykułów i wszystko pięknie ale jak przychodzi mi do własnych prób na stronach takich jak np. Citex to kompletnie nie ogarniam. Konkretny przykład - jak dobrać się do elementu zaznaczonego na obrazku niżej? Może nie ogarniam jakiejś podstawowej rzeczy i ktoś jest w stanie jednym przykładem naświetlić mi sytuację?

link: Citex - Epic-cash

CSS, xpath - nic nie działa, bawię się w shellu scrapiego od godzin i zawsze dostaję pustą listę...

[croppz]

@blacktyg3r: używasz selenium? Bo problem pewnie jest przez treść renderowaną w js. Zresztą spójrz lepiej w zakładkę network, wszystkie dane są pobierane requestami z api z tego co widzę.

[blacktyg3r]

@croppz: a selenium mogę zautomatyzowac gdzieś w tle na raspberrypi albo jakimś serwerze i żeby zbierał co chwilę dane i zapisywał? Do tej pory widziałem tylko że ludzie używają tego używają tego jakby do symulowania klikania w przeglądarce logowania etc

[Ilythiiri]

@blacktyg3r: przeglądarka musi się gdzieś uruchomić i musisz mieć serwer xów albo waylanda. Ale możesz ją schować w trybie headless.

A patrzyłeś czy te giełdy nie mają API? ( ͡° ͜ʖ ͡°)

[croppz]

@blacktyg3r: skupiłbym się raczej na drugiej części tamtej odpowiedzi. ( ͡° ͜ʖ ͡°)

Strona o której mówisz ma pod spodem api. Dokumentacji może nie mieć, po prostu spójrz jakie requesty robi twoja przeglądarka jak otwierasz stronę i powtórz je w pythonie. Dostaniesz ładnego JSONa z danymi.

[blacktyg3r]

@Ilythiiri: @croppz: hehe no tak tu akurat jest api, próbowałem jeszcze Biholdl i Vitex (kolejne 2 noname giełdy który mają niemal identyczna strukturę). Ok podziękował bardzo jak coś to dam znać.