Google chroni sie przed własnymi botami :-) Google chroni sie przed własnymi botami :-) Dyshoo Dyshoo z google.com dodany: 18.03.2008, 21:32:19 # technologia# nowetechnologie# google# bot# googlebot# robots 3 Facebook Twitter
PiTcA PiTcA 18.03.2008, 21:40:55 1 Web site owners use the /robots.txt file to give instructions about their site to web robots;http://www.robotstxt.org/robotstxt.htmlCzytanie ze zrozumieniem się kłania. Web robots != google robots.
f.....n konto usunięte 19.03.2008, 00:24:46 1 Weird, disallow z robots.txt, to są właśnie te miejsca w które się zagląda :P
chudzielec chudzielec 18.03.2008, 21:37:48 1 To dosyć oczywiste, ich strony mają osobny mechanizm indeksowania.
Komentarze (3)
najlepsze
http://www.robotstxt.org/robotstxt.html
Czytanie ze zrozumieniem się kłania. Web robots != google robots.