[kreatynamonohydrant]

#html #php #informatyka #programowanie #webdev

Mam pytanie, mam przykład strony 123.pl
i jakimś poleceniem mogę wyciągnąć wszystkie linki/odnośniki które kierują dalej po "/" na tej stronie?

123.pl/test
123.pl/papapa
123.pl/linkdoczegos

[kreatynamonohydrant]

@LazyInitializationException: coś w stylu site:123.pl/ może coś linuxowego albo coś? Serio nic? :P

[k.....c]

@kreatynamonohydrant: rób generator i generuj ( ͡º ͜ʖ͡º)

[zakopiak]

@kreatynamonohydrant: Jeśli chodzi Ci o sytuację, gdzie nie wiesz z góry jakie są te adresy podstron i chcesz je poznać, to nie ma.

Możesz tylko na zasadzie scrapowania i tworzenia grafu z linków zawartych w tych stronach do kolejnych podstron, czyli tak jak to robią roboty wyszukiwarek.

[JackBauer]

@kreatynamonohydrant może ta strona ma gdzieś wygenerowany plik sitemap.xml ze wszystkimi podstronami, odwołań szukaj w meta tagach, robots.txt, ale niekoniecznie musi tam być. Jeżeli nie, to zostaje webscraping.

[CeZiK_]

@kreatynamonohydrant: jak masz dostęp do serwera to możesz ustawić listowanie katalogów w .htaccess.

Ewentualnie w Google:

site:wykop.pl

[kreatynamonohydrant]

@CeZiK_: nie mam dostępu, ale z moich obserwacji wynika że ducckduckgo listuje więcej wyników
@CeZiK_:

[bmLq]

@kreatynamonohydrant: spróbuj pogooglac curl grep extract links