| Arka Planda Neler Oluyor?
Arama düğmesine bastığımızda arama motoru kendi veri tabanındaki bilgileri arar, İnternet üzerinde arama yapmaz. Peki, bu veri tabanına milyonlarca web adresi nasıl girilir? Sakın bir insan veya birkaç insanın yaptığını düşünmeyin çünkü yapılan bir araştırmaya göre bir insan, ömrünün sonuna kadar her saniye bir web sayfası açıp kapasa yine de İnternet’teki bütün sayfaları dolaşamaz.
Veri tabanının doldurulması Spider (Örümcek) denen akıllı programlarla olur. Spider programlarının bir parçası olan indeksleme mekanizması da indeksleme işini yapar. Web sitesinin tüm sayfaları, içeriklerine göre veri tabanına kaydedilirler.
Spider’lar durmadan arama motorlarındaki yazılımcılar tarafından geliştirilir çünkü insanlar aradıkları bilgiyle ilgili sitelere ulaşmak isterler. Yazılımcıların görevi ise insanların aradıkları şeyleri bulmasını sağlamaktır.
Hiç kimse aradıkları ile ilgisiz siteler görmek istemez, zaten bu da arama motorunun kalite ölçütüdür. Diğer bir kalite ölçütü de barındırdığı web adresi sayısıdır.
Spider’lar barındırdığı her URL i periyodik olarak indekslerler. İndeksleme şu şekilde yapılır: Bu programlar aynı bir kullanıcı gibi web adresini sunuculardan talep ederler, barındırdığı linkleri de ziyaret ederler. Bu işlem bütün sayfalar için uygulanır ve web sitesi bütün sayfalarıyla beraber arama motoru veri tabanına işlenir. Spider talep ettiği web sayfasından yanıt alamayınca veri tabanından ilgili URL i siler.
Dostları ilə paylaş: | 
