Robot.txt
Kısaca: Robot.txt web sitelerinde kök (root) dizininde yer alan ve arama motorlarına istenin hangi bölüm yada sayflarını indekslememesi gerektiğini söyleyen küçük uyarı metni. ...devamı ☟
Web sitelerin çogunlugu robot.txt dosyasindan yoksundur, bu onlar için bir sorun teskil etmez. Robot.txt sayfalarınızın arma motorlarında yüksek siralarda gelmesine yardim etmez. Sitenizi indekslenmesini istemediginiz istenmeyen yabanci tarayicilara karsi önlem olarak kullanilabilir.
Intenette gezinen tüm robotlar iyi huylu degildir sayfalarinizdan spam amaçli email adresleri toplamak isteyen robotlar olabilir.
Sayfalariniz hazir olmayabilir, hazir olmayan sayfalarin arama motorlarinda indexlenmesini sitemeyebilirsiniz. Ben sahsen eksik bir siteyle ortaya çikmak istemem.
Bir üyelik bölümünüz veya yönetici bölümünüz olabilir Google da aramalarda bu sayfalarin ortaya çikip sonradan rahatsiz olmak istemezsiniz. Işse size çok basit bir robots.txt dosyası:
User-agent: Emailcollector Disallow: /
bu Sizi eposta toplayan bir robottan korur, bu dosyayi sunucunuzda dosyalarinizi koydugunuz kök dizine yükleyebilirsiniz.
Detayli bilgi için. http://www.robotstxt.org/wc/exclusion-admin.html - Sayfa dili İngilizcedir
Bu konuda henüz görüş yok.