Robot internet üzerinde bulunan web sitelerini, sitelerin birbirlerine verdiği bağlantıları kullanarak otomatik olarak gezer ve bu sayfa içeriklerini saklar. Bu içerik daha sonra indekslenerek hızlı bir şekilde aranabilir hale getirilir. Kullanıcı arabirimi ise bu oluşturulan indeksin aranmasını sağlar.
Arama Robotu
Arama Robotu bilinen bir URL setini indirdikten sonra, bu sitelerin link verdikleri diğer siteleri html kodlarından öğrenir. Daha sonra bu yeni bulduğu URL'leri de çekerek işler. Web'in yapısı gereği sitelerin birbirlerine link verdikleri için ilk başlanan URL seti ile web'in çoğu gezilmiş olur. Sitelerin arama motorlarına içerdikleri sayfaları anlatan özel bir site haritası dosyası ile bir sitenin bütün sayfalarına erişilebilir. Hiç bir sayfanın link vermediği URL'ler ise arama motoruna kullanıcılar tarafından eklenebilir.Ters İndex
Büyük arama motorları ilişkisel veritabanları yerine ters index yapısını kullanırlar. Normal index yapısında bir dökümanın içindeki kelimeler döküman anahtarı ile indexlenir. İndex yapısında bir dökümanı verip içindeki kelimelere ulaşılır. Ters index yapısında ise, dökümanlar kelime anahtarı ile indexlenir. Böylece bir kelime verilip bunun geçtiği dökümanlar bulunur.Dış bağlantılar
Arama motorlarına örnekler:- http://www.google.com.tr/ Google
- http://www.yahoo.com/ Yahoo.com
- http://www.msn.com/ Msn.com
