[lukasgl]

#javascript #internet #greasemonkey #webdev #webmastering

Cześć Miruny.

Potrzebuję pobrać pliki z danymi ze strony NFZ a jako, że jest ich dużo to chcę to jakoś zautomatyzować. Dane przydatne do analizy.

Ta strona ze statystykami. Po wejściu w którąś grupę i kliknięciu linku pojawia się nowa strona z latami zwykle 2009 - 2015. Wybierając interesujący rok otwiera się kolejna strona z "przyciskiem" do pobierania danych w pliku excel. Ja chciałbym pobrać wszystkie dostępne lata z każdej grupy a jest tego dużo.

Wiem póki co tyle:
1. Linki do stron z grupami są statyczne, kluczem jest id grupy.
2. W podstronie z wyborem roku jest link do strony z formularzem POST, który wywołuje pobranie pliku.

Może macie pomysł jak pobrać te pliki automatem? ( ͡° ʖ̯ ͡°)

[kazzr]

@lukasgl: tak, napisać skrypt, który zaciągnie wszystkie linki wewnętrzne z tej podstrony, a następnie pobierze ich zawartość. banał.

[lukasgl]

@kazzr: Jakieś wskazówki? Albo podopowiedź gdzie szukac wskazówek, pod jakimi hasłami?

[Thyliamris]

Słowo klucz: web scraping. Polecam z Pythona: http://scrapy.org/ ewentualnie można coś takiego osiągnąć przy użyciu: http://www.seleniumhq.org/
W javascript może i się coś takiego da zrobić wykorzystując nodejs, ale chyba szkoda nerwów na taką zabawę jak są już gotowe narzędzia do tego.

[lukasgl]

@Thyliamris: Dzięki wielkie! Scrapy z tego co widzę jest też na Node wiec to chyba będzie to czego szukałem!