Arama motoru robotu, web sayfalarını taramaktan sorumludur. Program otomatik olarak tüm sitelerden gelen verileri okur ve bunları arama motorunun anlayabileceği bir biçimde kaydeder, böylece daha sonra sistem kullanıcı için en uygun sonuçları gösterecektir.
Fonksiyonlar
Tüm indekslenmiş bilgiler ortak bir veritabanına kaydedilir.
Bir arama robotu, İnternet sayfalarında otomatik olarak dolaşan, gerekli belgeleri isteyen ve taranan sitelerin yapısını alan bir programdır. Robot taranacak sayfaları bağımsız olarak seçer. Çoğu durumda, taranacak siteler rastgele seçilir.
Bot türleri
Düzgün çalışmayan bir robot, ağ ve sunucu üzerindeki yükü önemli ölçüde artırır ve bu da kaynağın kullanılamamasına neden olabilir.
Her arama motorunun robot adı verilen birkaç programı vardır. Her biri belirli bir işlevi yerine getirebilir. Örneğin, Yandex'de, blogları indekslemek için faydalı olacak RSS haber beslemelerini taramaktan bazı robotlar sorumludur. Sadece resim arayan programlar da var. Ancak en önemli şey, herhangi bir aramanın temelini oluşturan indeksleme botudur. Ayrıca haber beslemeleri ve olaylarla ilgili güncellemeleri aramak için tasarlanmış bir yardımcı hızlı robot da bulunmaktadır.
tarama prosedürü
İçeriğin taranmasını önlemenin bir başka yolu da kayıt paneli aracılığıyla siteye erişim oluşturmaktır.
Siteyi ziyaret ederken program, robots.txt talimat dosyalarının varlığı için dosya sistemini tarar. Belge varsa belgede yazılı yönergelerin okunmasına başlanır. Robots.txt, sitedeki belirli sayfaların ve dosyaların taranmasını yasaklayabilir veya tersine izin verebilir.
Tarama işlemi, programın türüne bağlıdır. Bazen robotlar sadece sayfa başlıklarını ve birkaç paragrafı okur. Bazı durumlarda, HTML işaretlemesine bağlı olarak belgenin tamamında tarama yapılır; bu, anahtar ifadeleri belirtmek için bir araç olarak da çalışabilir. Bazı programlar gizli veya meta etiketlerde uzmanlaşmıştır.
Listeye ekleme
Her web yöneticisi, arama motorunun robots.txt veya META etiketi aracılığıyla sayfaları taramasını engelleyebilir. Ayrıca, site oluşturucu siteyi dizin oluşturma kuyruğuna manuel olarak ekleyebilir, ancak bunu eklemek, robotun istenen sayfayı hemen tarayacağı anlamına gelmez. Bir siteyi kuyruğa eklemek için arama motorları ayrıca özel arayüzler sağlar. Bir site eklemek, indeksleme sürecini önemli ölçüde hızlandırır. Ayrıca bir arama motoruna hızlı kayıt için web analiz sistemleri, site dizinleri vb. kullanılabilir.
