Arama Motorları sayfaları indekslerken örümcek adını verdiğimiz özel ve de şirin robotlardan yardım almakta. Sayfayı gezen örümcekler sayfanın html kodlarını -yani herhangi bir tarayıcıda sağ tıklayıp “Sayfa Kaynağını Göster” dediğimizde karşımıza çıkan kodlar- tarayıp arama motorunun veritabanına keydediyor. Sayfamızın arama motoru robotu tarafından nasıl göründüğünü merek ediyorsak eğer metin tabanlı tarayıcı Lynx‘i indirebilir veya Lynxviewer ve SeoBrowser gibi web tabanlı servislerden yararlanabiliriz.