Google chroni sie przed własnymi botami :-)

Google chroni sie przed własnymi botami :-)

[PiTcA]

Web site owners use the /robots.txt file to give instructions about their site to web robots;

http://www.robotstxt.org/robotstxt.html

Czytanie ze zrozumieniem się kłania. Web robots != google robots.

[f.....n]

Weird, disallow z robots.txt, to są właśnie te miejsca w które się zagląda :P

[chudzielec]

To dosyć oczywiste, ich strony mają osobny mechanizm indeksowania.