[M.....0]

Potrzebuje zrobić skrypt do parsowania pewnej strony internetowej. Z pewnego źródła wiem że zablokują mnie jak tylko ogarną że leci jakiś skrypt.
Jedyną opcje widzę w tym że musiałbym użyć jakiś darmowych proxi żeby nie zaliczyć bana.

Teraz moje pytanie. Jakie zagrożenia na mnie czekają przy używaniu darmowych serwerów z poziomu kodu?
W requestach nie podaję żadnych wrażliwych danych, jedynie pobieram stronę i później sobie ją obrabiam.

#proxy #security #python #webscraping #programowanie #bezpieczenstwo

[Tank1991]

@MimikX90: łużyj selenium i prawdziwej przeglądarki

[M.....0]

@Tank1991: selenium jest za wolne :(

[mdul]

@MimikX90: playwright albo puppeter

[M.....0]

@mdul: a szybkie toto jest? Czy jak selenium?
Selenium w trybie headless i tak jest turbo wolniejsze od zwykłego requestsa.

[Mr_Przyjemny]

@MimikX90 W pythonie korzystałem z listy proxy darmowych i miałem około 300 recordow (zescrapowanych i potem użyte jako hardcode) jakieś 150 działało nawet z trzymaniem obiektu sesji. Ale nie puszczalbym przez to wrażliwych danych logowania

[M.....0]

@Mr_Przyjemny: wlasnie chce pobrać listę ze strony:
https://free-proxy-list.net/
Czyli jak uderzam do strony bez przesyłania zadnych danych (typu login, haslo) to nic mi nie grozi? ( ͡° ͜ʖ ͡°)

Czy może jest jakiś haczyk o którym nie wiem przez który ktoś jest w stanie dobić się do danych u mnie lokalnie?

[Mr_Przyjemny]

@MimikX90 nie znam się nie orientuje, ale fingerprint takiej pythonowej sesji trudno powiązać z twoją przeglądarka. Generalnie to dyskusyjna sprawa czy scrapping jest legalny

[arysto2011]

@MimikX90: możesz udawać sesję przeglądarki poprzez request + pakiet user-agent.

[M.....0]

@arysto2011: mam już wbitego user-agenta tylko pytanie czy wrzucając po 100 requestow na minute nie zablokują mi adresu IP.

[arysto2011]

@MimikX90: może lepiej dogadać się z twórcami. Może wystawią API.

[Ki3mon]

@MimikX90: selenium jest tutaj bez sensu, kup jakąś paczkę proxy i masz luz

[M.....0]

@Ki3mon: sorki, nie jestem do końca kumaty w takie tematy... Gdzie kupie taką paczkę proxy w jakiejś przystępnej cenie? Oczywiście chodzi mi o bezpieczne serwery.

[szmichal]

@MimikX90: a nie wystarczy ci napisać skrapera?

[farbeyondyourimagination]

@MimikX90: Zyte Smart Proxy Manager - kiedyś to się nazywało crawlera. Takie rotacyjne proxy, idealne do scrapowania. Do tego Scrapy i jesteś w domu.

[Ki3mon]

@MimikX90: sam czegoś szukam, bo czasami by się przydało
jak masz jakieś pytanie odnośnie robienia botów to wal, bo już ich trochę zrobiłem

[emitar]

@MimikX90 jednorazowa akcja?

[M.....0]

@szmichal: @farbeyondyourimagination: @Ki3mon:
Dzieki wszystkim za podpowiedzi. Skrypt już mam ogarnięty, na razie dalem poprostu sleepa miedzy wbijaniem w kolejne strony bo zależało mi na czasie. W wolnej chwili lukne na Wasze rozwiązania :)

[M.....0]

@emitar: nieee, raczej będę to używał często chociaż nie jakoś regularnie. ( ͡° ͜ʖ ͡°)

[emitar]

@MimikX90 no właśnie chciałem napisać o sleep. Raz przy jednorazowej akcji strony z 5k podstronami, dałem sleep random 3-5s co 100 stron.