[goferoo]

Scrapował może ktoś ostatnio dane ze stooq/money.pl? Potrzebuję danych daily dotyczących wszystkich opcji notowanych na polskiej giełdzie, ale mam problem z sensownym zescrapowaniem tego. Dotychczas leciałem pandasem po bankier.pl i śmigało, na stooq i money już nie ma tak łatwo. Stooq zupełnie nie ładuje się przez request, a money nie przechowuje interesujących mnie danych w htmlowej tabeli, ale w jakichś klasach do których nie mam pojęcia jak się dorwać xD Będę bardzo wdzięczny za pomoc.
#gielda #programowanie #python #scraping #datamining #kiciochpyta

[goferoo]

@goferoo: rozwalę zaraz tego stooqa i ich skrypty do blokowania scrapowania

[Saeglopur]

@goferoo: Są płatne pakiety od tego, jest też Notoria choćby

[goferoo]

@Saeglopur: pytam się o scrapowanie, a nie o rozwiązania płatne, nie będę tych danych wykorzystać komercyjnie

[cohontes]

@goferoo: a dane historyczne, które udostępnia stooq nie wystarczą?

[goferoo]

@cohontes: potrzebuję dokładnie tę tabelę, codzienne informacje o każdej serii opcji, cenie min, max, first, last i obrocie, chcę to pobierać raz dziennie codziennie, dane historyczne mam

[goferoo]

@cohontes: ta sama tabela na money.pl https://www.money.pl/gielda/gpw/opcje/

[cohontes]

@goferoo: w danych historycznych na koniec dnia masz te dane o opcjach

[cohontes]

@goferoo: + zaloze sie ze sie nie laduje, bo jak wejdziesz incognito to najpierw musisz przeklikać to i owo, więc wypadałoby dodać selenium, które kliknie odpowiedni xpath

[DKMIP]

@goferoo: nie wiem czy coś ci to da, ale chyba możesz to zaimportować bezpośrednio ze strony do excela. Nie mam teraz dostępu do excela wiec nie sprawdzę czy w ogóle działa.
https://support.microsoft.com/en-us/office/import-data-from-the-web-b13eed81-33fe-410d-9247-1747269c28e4

[goferoo]

@cohontes: znalazłem jeszcze na stronie gpw bezpośrednie pobieranie xls, ale to z danymi historycznymi ze stooq super trop, faktycznie wszystko co potrzebuję tam jest, spróbuję się z tym pobawić

[cohontes]

@DKMIP: nie będzie raczej działać, sprawdzałem przed chwilą to w powerbi bo miałem pod ręką ;) trzeba przeklikać zgody najpierw.

[Quis]

@goferoo: kiedyś zrobiłem sobie skrypt w selenium do odczytywania danych z takiej tabeli ze stooq, działało

[goferoo]

@Quis: gratki, chciałbyś się podzielić?

[Ki3mon]

@goferoo: poszukaj na github, na pewno ktoś już to zrobił
więcej sprytu ;)

[Mazowia]

@goferoo: jak będziesz dużo requestów wysyłał to założą czasową blokadę i potrzebny będzie proxy pool

[cohontes]

@goferoo: otwierasz przegladarke za pomoca selenium, potem klikasz przycisk, potem uzywasz bs4 zeby sciagnal calosc i e voila! ( ͡° ͜ʖ ͡°) prostrze niż requesty itd. Po jednym tutorialu ogarniesz

[veracholera]

@goferoo: cos takiego?

[goferoo]

@veracholera: tak

[kot__morderca]

@goferoo: hej, znalzalem temat po chce scrapowac dane po kazdej sesji. patrze na tabele danych z money, wyglada ze wszystko jest. Bede tez probowal wywolac klikniecie przycisku pobrania csv, jesli sie uda to nawet bedzie prościej. jaki Ty miales problem z money, bo wyglada ze wystarczy sie odpowiednio w divach dokopac?

[goferoo]

@kot__morderca: tak, wystarczy polecieć po divach, nie ma zadnych problemów :D jakbyś chciał to mam gdzieś ten kod, pisz priv