Wszystko

Wszystkie

Archiwum

blacktyg3r
blacktyg3r
  • 1
@fifiak: Rozpoczynasz przygodę ze grzebaniem od front-endu, poczytaj o Selenium albo playwright, frameworki które mogą 'udawać, że są zwykłym użytkownikiem (głównie stosowane do testów).

W ten sposób łatwo podjąć interakcję ze skryptami i dostać się do interesujących nas danych.

PS. Często otwierając konsolę deweloperską możemy znaleźć adresy URL do niepublicznych API które strona wykorzystuje do pobierania danych - jeśli nie masz zamiaru robić nic 'złego' to można w ten sposób dostać
  • Odpowiedz
fifiak
fifiak
fifiak
via Android
  • 0
@fifiak a przykladowo jak w operze przez nagranie sesji i klikania mam jsob albo jakiś puppeteer to da rade łatwo to odpalić pythonem albo z poziomu basha? Bo nie wiem jak teraz wykorzystac ten kod a sa tam xpathy, clicki itp
  • Odpowiedz
veracholera
veracholera
  • 1
Pisze sobie scrappera do strony z ogłoszeniami, jakie mogą mnie spotkać zabezpieczenia? Bo na chwile obecna to tylko wpadłem na:
captche, która można po prostu zoutsourcowac, żeby hindusy rozwiązały
mogą zablokować moje ip, ale to połączenie przez vpn załatwiło by sprawę
ogólnie sprawa wydaje się dosyć prosta, ale czy taka jest? głównie chodzi mi o wysyłanie requestow na stronę
#scrapping #programowanie
Jurix
Jurix
  • 0
@veracholera: przy jednej stronie która scrapowalem miałem captche która po każdym rozwiązaniu zmniejszała ilość zapytań przed kolejnym wyświetleniem. Niby zmiana IP rozwiązywała problem ale przez skalę niezbędnej ilości zapytań powstrzymało to przed dalszą pracą.
  • Odpowiedz
diofantos
diofantos
  • 0
@veracholera kiedyś scrapowalem Lot, o ile dobrze pamiętam to po jakiejś małej liczbie requestow, gdzieś koło 10 może, zablokowali moje IP. Nie chciało mi się bawić w vpn, gra nie warta świeczki.
  • Odpowiedz
duchu0
duchu0
  • 2
Czy ktoś z Was zna jakąś aplikację najlepiej by można było ja postawić na jakiś serwerze która będzie scrapować filmiki z YT. Wpisuje frazę która mnie interesuje, a ona pobiera wszystko co pod nią pasuje. Wiem, że Scrapebox potrafi coś takiego, ale do niego potrzeba ogromnej ilości proxy. Dlatego wolalbym z niego nie korzystać.

#youtube #aplikacje #scrapping #pomoc
w.....s
w.....s
  • 15
właśnie scrapuję oddsportal, wszystkie under/over rozegrane od 6 miesięcy (wydaje mi się rzetelną próbką) zobaczymy jakie wyniki z tych danych powychodzą #bukmacherka #datamining #scrapping ale wiatrak w laptopie #!$%@? ( ͡° ʖ̯ ͡°) mam nadzieje, że się nic nie wykrzaczy, co prawda to co przewidziałem to obsłużyłem w kodzie, zobaczymy rano ( ͡º ͜ʖ͡º)

Powiązane tagi