Zamiast pliku robots.txt możesz użyć tagu za pomocą którego możesz powiedzieć robotowi, czy ma nie indeksować tą podstronę i czy ma nie podążać za linkami na tej stronie.