Biesiadnik
Jak zrobić skrypt co loguje się co jakiś czas do #medicover i sprawdza jakie tam są wizyty i jak jest to powiadamia? czy po prostu zapisuje sie?
Ma ktoś to ogarnięte? W czym byście taki #webcrawler robili? Jakiś skrypt? jakiś komponent? Bo ręcznie chyba ciężko jak są zabezpieczenia i trzeba się przedstawić i wyglądać jak przeglądarka internetowa... (rozmiarz okna itd może być sprawdzany)
#programowanie #selenium
2
  • Najlepsze
  • Wszystkie komentarze
venomik
@Biesiadnik: No to nie widzę problemu.
Bierzesz pythona
Bierzesz selenium
Ściągasz sobie chromedrivera
A dalej kod tak naprawdę masz
1
derecki
derecki
@Biesiadnik: jak zrobisz copy as curl to wszelkie referele, user agent ci sie kopiuje. Jedynym problemem może być token autoryzacyjny, który czasem ma ważność 24h, ale w większosci nie. Większość stron nie ma zabezpieczeń typu jakieś WAFy, więc nie musisz kombinować z kursorami itp. Czy każdy url tak można? To zależy trzeba sobie rozkminić sposoby zabezpieczeń poobserwować requesty i wnioski przyjdą same. Z doświadczenia jakieś imedy, booksy nie mają zabezpieczeń.

Zapytanie
1
destyl
Podczas ładowania strony przez skryp, mam cały czas kod odpowiedzi 404, albo 409. Ładuje przez proxy, ale nie wiem czemu niechce działać.

W przeglądarce odpalam przez proxy działa, a przez skrpyt nie...

Ustawiłem http_proxy na serwer docelowy i dalej nic..

Ma
1
  • Najlepsze
  • Wszystkie komentarze
m_bielawski
m_bielawski
@destyl: spróbuj podawać user-agent taki sam jak podaje przeglądarka.
0
siteman
@destyl: pokaż skrypt
0

Powiązane tagi