[Nupharizar]

Jest sobie hosting, który po wrzuceniu pliku nadaje mu losowy ciąg 5-7 znaków.
Próbuje napisać skrypt, który sprawdzi wszystkie możliwe kombinacje i wypluje mi linki, które faktycznie mają jakąś zawartość.
Musiałem dać interwał pomiędzy zapytaniami 0,5 sekundy, bo inaczej hosting mnie blokuje, niestety przy tym podejściu sprawdzenie wszystkich możliwych kombinacji zajmie mi ponad 127 lat xD

Jestem zielony w tej kwestii, dlatego moje pytanie brzmi, da się to jakoś przyspieszyć?
Wykminiłem, żeby sprawdzone już kombinacje zapisywał mi do pliku i dzięki temu się nie powtarza, ustawiłem też 10 równoczesnych wątków, więc aktualnie sprawdza 20 kodów na sekundę.

#programowanie #internet #pytanie #python

[Yelonek]

@Nupharizar: Więcej komputerów z innych adresów ip.

[Nupharizar]

@Yelonek: Myślałem o tym, ale jak zrobić, żeby plik w którym zapisują się już sprawdzone kody był jeden dla wszystkich tych komputerów? Bo bez niego będą sprawdzać w kółko to samo. Zresztą mam dostęp do może 3 PC, to niewiele pomoże.

[SypkaSkala]

@Nupharizar: wygeneruj plik ze wszystkimi kombinacjami i każdy z komputerów niech zaczyna od zadanego offsetu

[Rasteris]

@Nupharizar: a i tak cię namierzą i wszystko zablokują. ( ͡° ͜ʖ ͡°)

[Nupharizar]

@SypkaSkala: @Yelonek to razem już brzmi nieźle. Zastanawiam się, co jeśli postawię VM i w nim też uruchomie skrypt? Teoretycznie IP będzie inne, więc powinno to obejść blokadę. A jeśli w tej VM postawię kolejną? xD

[eU2MO]

@Nupharizar: Użyj innego hostingu, który nie będzie tak randomizował. Będzie o niebo prościej niż to, co chcesz wykombinować.

[redorbiter]

@Nupharizar: bawilem sie w takie rzeczy jakies 6 lat temu. Szukalem roznych hostingow i do kazdego z nich mialem oddzielna, wlasciwa mu logike w kodzie. Wykorzystywalem cachowanie, o ktorym mowisz. Dla zbyt wielu zapytan czasami wystarczal delay, czasami nie. Wtedy musisz uzyc innego IP. Ale nie chodzi tu o lokalne IP, tylko zewnetrzne. Wiec stawianie wirtualek, dodatkowych hostow nie ma sensu. Do tego celu uzywasz pule zewnetrznych proxy, ktore zadajesz

[daczka92]

@Nupharizar ale publiczne IP będziesz miał takie samo. Nadal to 127 osobnych IP żeby to rok chodziło. Strasznie tego dużo. To już wyższa szkoła jazdy. Jak szybko Cię banują jak to leci z pełną prędkością? Może vpn

[Nupharizar]

@daczka92 sorry, trochę mnie upośledziło, nie wiem czemu myślałem, że jak mam VM to będzie inny adres, skoro jest ta sama sieć. W każdym razie dzięki za sugestie. Myślałem też właśnie o VPN i o jakiejś VM online, z tego co widziałem AWS EC2 jest przez jakiś czas za free, tam każda maszyna będzie miała podobno inne IP, ale to nadal kropla w morzu potrzeb.

@redorbiter to wszystko czysto edukacyjnie,

[redorbiter]

Na chwilę obecną mam sprawdzone 111k kodów i znalezione 1056 plików, niestety odkryłem, że zbanowane pliki też pokazują mi się jako dostępne, no bo link przecież działa

@Nupharizar: w takiej sytuacji musisz ustalac response.status_code i/lub parsowac odpowiedz (https://pypi.org/project/beautifulsoup4/) i wyszukiwac konkretne frazy - np. "file removed". Nastepnie logujac do pliku, czy gdzie tam zapisujesz, dodawac informacje w stylu: "http://some.url/xcasdf,file removed/banned"

a dodajmy do tego, że nowe pliki są cały czas

[redorbiter]

losowy ciąg 5-7 znaków

jakie znaki wchodza w gre? ascii_lowercase + digits?

[Nupharizar]

@redorbiter dzięki za podpowiedź, jak wrócę z urlopu to spróbuję tego co mi poradziłeś.

Co do znaków to dokładnie tak, ascii_lowercase + digits.

[Hauleth]

@Nupharizar: A ten ciąg znaków na pewno jest losowy?

[Nupharizar]

@Hauleth: nie mam 100% pewności, ale wyglądają na losowe, nie udało mi się znaleźć żadnych cech, które wskazywałyby, że jest inaczej.