Wytyczne dla robotów, jakich się nie spodziewałeś - robots.txt

Nerdowski stuff - oto jak wygląda plik 'robots.txt' dla witryny Last.fm.

[A.....S]

Jakis fan Asimova.

[kielus]

@ADSSADFDFS: kryptofan

[k.....r]

W ramach przypomnienia:

http://www.robotstxt.org/ oraz http://www.javascriptkit.com/howto/robots.shtml :-)

[CreativePL]

Hm... jako nie nerd i osoba która patrząc na kod najbardziej banalnego programu na świecie będzie się zachwycać tą "magią" której nie pojmuje, zwracam się z uprzejmą prośba o przetłumaczenie na mój język :)

[k.....r]

@CreativePL: w pierwszym komentarzu podałem: http://www.wykop.pl/link/420587/wytyczne-dla-robotow-jakich-sie-nie-spodziewales-robots-txt/#comment-2612973

[p.....r]

Nie jest nerdowski ponieważ ten robots.txt jest niepoprawny. Dyrektywa Allow jest niepoprawna - niezgodna ze specyfikacją. Nerd nie napisałby błędnego robots.txt.