[Miedzcu]

Niestety będę pytał o rzeczy o których ZUPEŁNIE :( nie mam pojęcia, wiec zakładajcie z góry że zagmatwam niepotrzebnie sprawę:

1. Czy Web scraping przy pomocy VBA można podzielić na jakieś sposoby, rodzaje, stopnie zawansowania, kolejne coraz trudniejsze lekcje które trzeba opanować? Gdzie czerpać wiedzę o Web scrapingu? Myślę nawet o lekcjach uczących łamania kodu – ale nie włamywaniu ale omijania takich podstawowych trudności w Web Scapingu (np. 15 sekundowe zapytania w celu nie bycia uznanym jako atak DDoS i tak dalej i tym podobnym )

2. Pytanie wyżej zadaje gdyż nauczyłem się web scrapingu ze stron pod permanentnym linkiem, lub linkiem który ma w sobie zmienne parametry ale są one łatwo definiowalne (zakres dat, godzin itd. itp.) i można go hardcodować otrzymując prostą strone w formacie tekstu. Niestety zupełnie nie potrafię web scrapować stron stworzonych bodajże w JavaScript/JSON. Strona nie zmienia linku chodź zmienia swoją zawartość. Na stronie zmienia się parametry i należy wcisnąć przycisk „Load Data” by wyświetlić pożądane wyniki ale wciąż odbywa się to pod tym samym linkiem html. Jak zrobić by na takiej stronie działało macro pobierające zwartość? Jak to wszystko dekodować by krok po korku wiedzieć co szukać i gdzie szukać? Czy macie jakieś strony, materiały pozwalające na przeszkolenie z tego tematu?

3. Jak radzić sobie na stronach podobnych do tych opisanych wyżej ale które jednak wyplowają przy ładowaniu danych jakiś odmienny link. Link który jest aktywny czasowo a już po 15 minutach jest nieaktywne (daje błąd 404) i trzeba pozyskać od nowa link wprowadzając na stronie głównej ponownie parametry.

Wydaje mi się że rozwiązania z Power Query odpadają :( Tzn. wiele ze stron z których korzystam wymagają podwójnej weryfikacji kluczem U2F. Udało mi się napisać proste macro pozwalające na logowanie po przez Internet Explorer i utworzenie ciasteczka przez co kolejne marka działają już bez problemu przedstawiając dane ciasteczko. Niestety Power Query chyba ma swoją osobną ścieżkę logowania na strony której nie jestem wstanie sforsować :(

#excel #vba #visual #basic

[fasola_i_groch]

@Miedzcu: przejdz z vba na python. Podziekujesz później

[Miedzcu]

@fasola_i_groch: mam w planach naukę python ale wstępnie założyłem że działam w dość hermetycznym środowisku, nieufającym swoim użytkownikom - weryfikacje logowania, permisje, brak dostępu do surowych danych czasami jedynie możliwości operacji na stronie a jak już to co najwyżej wypluciu jakiegoś csv z danymi- na pewno swojego exe nie uruchomisz jak i nie zainstalujesz potrzebnych narzędzi programowania. Korpo które jest informatycznie do przodu (ogrom narzędzi) ale jednocześnie nie działające w

[l.....o]

@Miedzcu: 1. Tylko stopnie trudności w omijaniu zabezpieczeń i scrapowaniu różnych danych
Wiedza z YT wystarczy.
2. Jakiś hindus: https://www.youtube.com/watch?v=SRCP7trsKS8
3. Przejść na inne rozwiązania.

Bawiłem się w VBA, przeszedłem na pythona. Szybszy. Nie musisz się go uczyć, wystarczy ChatGTP i on ogarnie 99 % problemów.