Biesiadnik
Jak zrobić skrypt co loguje się co jakiś czas do #medicover i sprawdza jakie tam są wizyty i jak jest to powiadamia? czy po prostu zapisuje sie?
Ma ktoś to ogarnięte? W czym byście taki #webcrawler robili? Jakiś skrypt? jakiś komponent? Bo ręcznie chyba ciężko jak są zabezpieczenia i trzeba się przedstawić i wyglądać jak przeglądarka internetowa... (rozmiarz okna itd może być sprawdzany)
#programowanie #selenium
  • Najlepsze
  • Wszystkie komentarze
venomik
@Biesiadnik: No to nie widzę problemu.
Bierzesz pythona
Bierzesz selenium
Ściągasz sobie chromedrivera
A dalej kod tak naprawdę masz
derecki
derecki
@Biesiadnik: jak zrobisz copy as curl to wszelkie referele, user agent ci sie kopiuje. Jedynym problemem może być token autoryzacyjny, który czasem ma ważność 24h, ale w większosci nie. Większość stron nie ma zabezpieczeń typu jakieś WAFy, więc nie musisz kombinować z kursorami itp. Czy każdy url tak można? To zależy trzeba sobie rozkminić sposoby zabezpieczeń poobserwować requesty i wnioski przyjdą same. Z doświadczenia jakieś imedy, booksy nie mają zabezpieczeń.

Zapytanie
destyl
Podczas ładowania strony przez skryp, mam cały czas kod odpowiedzi 404, albo 409. Ładuje przez proxy, ale nie wiem czemu niechce działać.

W przeglądarce odpalam przez proxy działa, a przez skrpyt nie...

Ustawiłem http_proxy na serwer docelowy i dalej nic..

Ma
  • Najlepsze
  • Wszystkie komentarze
m_bielawski
m_bielawski
@destyl: spróbuj podawać user-agent taki sam jak podaje przeglądarka.
siteman
@destyl: pokaż skrypt

Powiązane tagi