Wszystko

Wszystkie

Archiwum

blacktyg3r
blacktyg3r
  • 1
@fifiak: Rozpoczynasz przygodę ze grzebaniem od front-endu, poczytaj o Selenium albo playwright, frameworki które mogą 'udawać, że są zwykłym użytkownikiem (głównie stosowane do testów).

W ten sposób łatwo podjąć interakcję ze skryptami i dostać się do interesujących nas danych.

PS. Często otwierając konsolę deweloperską możemy znaleźć adresy URL do niepublicznych API które strona wykorzystuje do pobierania danych - jeśli nie masz zamiaru robić nic 'złego' to można w ten sposób dostać
fifiak
fifiak
fifiak
via Android
  • 0
@fifiak a przykladowo jak w operze przez nagranie sesji i klikania mam jsob albo jakiś puppeteer to da rade łatwo to odpalić pythonem albo z poziomu basha? Bo nie wiem jak teraz wykorzystac ten kod a sa tam xpathy, clicki itp
veracholera
veracholera
  • 1
Pisze sobie scrappera do strony z ogłoszeniami, jakie mogą mnie spotkać zabezpieczenia? Bo na chwile obecna to tylko wpadłem na:
captche, która można po prostu zoutsourcowac, żeby hindusy rozwiązały
mogą zablokować moje ip, ale to połączenie przez vpn załatwiło by sprawę
ogólnie sprawa wydaje się dosyć prosta, ale czy taka jest? głównie chodzi mi o wysyłanie requestow na stronę
#scrapping #programowanie
Jurix
Jurix
  • 0
@veracholera: przy jednej stronie która scrapowalem miałem captche która po każdym rozwiązaniu zmniejszała ilość zapytań przed kolejnym wyświetleniem. Niby zmiana IP rozwiązywała problem ale przez skalę niezbędnej ilości zapytań powstrzymało to przed dalszą pracą.
diofantos
diofantos
  • 0
@veracholera kiedyś scrapowalem Lot, o ile dobrze pamiętam to po jakiejś małej liczbie requestow, gdzieś koło 10 może, zablokowali moje IP. Nie chciało mi się bawić w vpn, gra nie warta świeczki.

Powiązane tagi