[nilfheimsan]

#webdev #programowanie ?
szukam prostego sposobu aby pobrac wszystkei strony z wątku zforum internetowego (1300 podstron)
tak wyglada koncowka adresu: watek/24328/904 gdzie 904 to numer strony watku a 24328 to numer konkretnego watku ktory mnei interesuje
mozecie mnie nakierowac na jakies rozwiazanie?

[Janusz]

@nilfheimsan: skrypt w bashu pobierający strone wgetem i dodający 1 co pętle do numeru strony

[nilfheimsan]

@Janusz: o ile widze w google bash jest tylko na linux?
troche sie pythonem bawilem, ale tylko na codeacademy, co potrzebuje aby skompilowac program do tego? wystarczy instalka python 3.5 ze strony?

[GlenPL]

@nilfheimsan: pythona się nie kompiluje, to język interpretowany

[nilfheimsan]

@GlenPL: ok to jak sie odpala na komputerze taki skrypt? pytam bo tylko codeacademy robilem kurs a tam sie od razu w przegladarce odpalalo?

[M.....L]

@nilfheimsan: potrzebujesz pythona. Wpisz w gogla - python windows.

[sokytsinolop]

@nilfheimsan: w konsoli python skrypt.py

[snejdan]

@nilfheimsan:
http://www.httrack.com/
http://webscraper.io/
w google: download website, web scraping

[kamil062]

@nilfheimsan: Skrypty wsadowe możesz pisać też na windzie. Można nawet wget ściągnąć pod windę bo sam korzystałem. Wystarczy ci zwykła pętla iterująca po adresach i wget w środku, pare linijek kodu.

[kamil062]

for /l %x in (0, 1, 10) do (
cls
wget --show-progress -P D:\wget "link"%x -F -E -p -k
)

Zapisze wszystko do folderu D:\wget ściągając również wszystkie obrazki, traktując pliki jako strony HTML itd. na dysk. Pętla od 0 do 10

[capriolo]

@nilfheimsan: na niektórych skryptach jest widok do druku i automatycznie wyświetla wszystkie posty