marcinst
Szukam narzędzia które pozwoli mi wyciągnąć #blog ze strukturą #html z #webarchiv sprzed ~20 lat.
Klasyczny #wget nie ogarnia tego.
Gpt i python też nie wydala.
Przykład składni adresu:
https://web.archive.org/web/20071036/http://kowalski.com/newblog/?order=ASC&cat=18
Cała wewnętrzna treść z każdego capture/snapshota na przestrzeni lat.
i.....y
i.....y
Zastanawiam się jak parametrami wget (headery z ciaskiem, czy coś podobnego) wymusić, by Amazon zmienił "Deliver to: [COUNTRY]" na dowolny kraj mojego wyboru. https://www.amazon.com/Apple-iPhone-XR-Fully-Unlocked/dp/B07P6Y7954 Potrzebuję wyciągnąć trochę cen wysyłek od nich. Ma ktoś jakieś pomysły? #wget #programowanie (bo może wiedzo) #informatyka #linux
  • Najlepsze
  • Wszystkie komentarze
Deflaut
@indywidualny: Jak wybierasz kraj to leci POST request na https://www.amazon.com/gp/delivery/ajax/address-change.html. Z parametrami: locationType=COUNTRY, district=CA, countryCode=CA, storeContext=generic, deviceType=web, pageType=Detail, actionSource=glow.
To są parametry dla Kanady. Więc podejrzewam, że gdzieś po stronie serwera to jest trzymane i po prostu identyfikuje cię po sesji.
scriptkitty
@indywidualny: Połącz się przez vpna?
bi-tek
Szukam pomoc z #linux i #wget albo #curl

Potrzebuje pobrać(wrzucić do txt) z domeny www.domain.com wszystkie url które zawierają słowo kluczowe download ale nie wiem jak do tego się zabrać i jak napisać polecenie w konsoli. Jakieś pomysły?

Link może występować jako np:

www.domain.com/download/file.mp4
  • Najlepsze
  • Wszystkie komentarze
qdt2k
qdt2k
0
@bi-tek: przyjrzyj się programowi HTTrack
bi-tek
bi-tek Autor
0
@qdt2k: Ciekawe jednak mi nie chozi o faktyczne dane tylko o ich url gdzie są, nic więcej. A z tego co pobieżnie widzę to w tym programie nie ma pobieranie samych url.
T.....X
T.....X
Czy istnieje możliwość pobrania większej ilości plików przez wget jeżeli spełniają określony pattern?

Załóżmy że mam pod adresem pliki:

http://example.com/aaa-english.pdf
http://example.com/aab-english.pdf
  • Najlepsze
  • Wszystkie komentarze
mojemacki
@TeslaX istnieje :p musisz coś szybko skodzic w bashu. Ale na taki etap nie zawędrowałem ;p
boctok
@TeslaX: a wget -i

i wpisac liste do pliku
M.....9
M.....9
Mirki, co tutaj jest nie tak? Chciałem, żeby uruchamiał się ten skrypt PHP codziennie o 23 równo.
Problem jest taki, że raz się wykonuje a raz nie :/
Dokładnie to 1/2 tak mniej więcej szans, że się nie wykona :/
#php #programowanie #wget #cron #crontab #informatyka #linux #serwer
  • Najlepsze
  • Wszystkie komentarze
M.....9
M.....9
a czym ogólnie może być spowodowane, że czasami się wykonuje, czasami nie?
bot ogólnie wysyła wpis na pewne forum

i [Dzisiaj 23:19] BOT: test bota 23:19:01
i [Dzisiaj 23:22] BOT: test bota 23:22:01
i [Dzisiaj 23:24] BOT: test bota 23:24:01
LepiejWcaleNizPozno
Ściągam wgetem do /dev/nulla jakieś pliki po 100GB, a drugi komputer nadal ma stabilne połączenie z internetem. Jak to obejść?
#wget #linux
  • Najlepsze
  • Wszystkie komentarze
f0xyProxy
@LepiejWcaleNizPozno: DoSa mu p--------j. Google: perl dos script
f0xyProxy
f0xyProxy
  • adult
1
Treść przeznaczona dla osób powyżej 18 roku życia...
GeneralX
GeneralX
W jaki sposób mogę zmusić wgeta do zapisania wszystkich stron z tematu które jest na forum podczas robienia mirrora? tzn. mam sytuację że chcę zrobić mirror stronki (podaję ogólny adres serwisu w komendzie wgeta), to tematy które mają na przykład po 50 stron nie zapisuje w całości. Pobiera pierwsze 3 strony i ostatnie 2 i to tyle. Chcę żeby też zapisywał strony 4,5,6,7 itd. Natomiast jak chcę zapisać sam temat to wget
  • Najlepsze
  • Wszystkie komentarze
Red_Hawk
#linux #wget #pobieranie #pytanie
Mirki,Jak pobrac za pomocą wget zdjęcia z danego tagu na wykopie?
  • Najlepsze
  • Wszystkie komentarze
tslaw
#linux #pytanie #wget #pomoc

Panowie i Panie, jak zrobić ściąganie z np. egofiles z konta, bo nie działa mi zwyczajne --http-user --http-password
  • Najlepsze
  • Wszystkie komentarze
Borys
1.7G in 8m 21s (3.38 MB/s) #wget