Eğer bir sitenin webmaster`ı, sitesinden bulunan bilgilerin Googlebot tarafından ve ya bir başka arama robotu tarafından indekslenmemesini isterse robots.txt dosyasına uygun komutlar girerek bunu yapabilir.
Googlebot`un deepbot ve freshbot olarak iki sürümü bulunmaktadır. Deepbot, web sayfasındaki bütün bağlantıları takip ederek, Google indeksleyicilerine en mümkün olan en fazla bilgiyi sağlar. Şu anda (2007 şubat)bu işlemi her ay yeniden tamamlamaktadır. Freshbot, web`de yeni içeriği tararmaktadır. Freshbot web sitelerini onların güncellenme sıklıklarına göre ziharet ederek yeni içeriği kaydeder. Teoride freshbot günlük bir gazeteyi günde bir, haftalık bir dergiyi haftada bir ziharet etmektedir. Bu bilgi toplama işlemine aynı zamanda "Google Dance" de denmektedir.
