Google udostępniło narzędzie do pobierania strony jako GoogleBot umożliwia Ci to zobaczyć co pobierze robot z Twojej strony i czy pobiera faktycznie to co powinien.

Pracownicy Google podali na swoim blogu, że od paru miesięcy intensywnie testowali nowy sposób na przeszukiwanie zasobów sieciowych. Googlebot potrafi już wypełniać formularze i indeksować wyniki. A wszystko po to aby powiększyć swoją bazę o tzw. „głęboką sieć”.

Krótki poradnik opisujący możliwość bycia Googlebotem

Google chroni sie przed własnymi botami :-)