İndeksleme, bir İnternet kaynağında bulunan dosyaların bir arama robotu tarafından taranması işlemidir. Bu prosedür, sitenin arama motorunda çeşitli sorgular için arama sonuçlarında yer alması için gerçekleştirilir. Bugün en büyük arama motorları arasında, bu taramayı kendi yöntemiyle yapan Yandex bulunmaktadır.
Talimatlar
Aşama 1
İnternet sitesinin indekslenmesi, özel otomatik programlar tarafından gerçekleştirilir - World Wide Web'deki yeni sitelerin görünümünü otomatik olarak izleyen, İnternet'te bulunan İnternet sayfalarını, dosyaları ve her bir kaynaktaki bağlantılarını sürekli tarayan arama robotları.
Adım 2
Taramak için robot, kaynağın belirli bir sunucuda bulunduğu dizine gider. Yeni bir site seçerken, robot müsaitliğine göre yönlendirilir. Örneğin, Yandex'in önce Rus dilinde ve Rusça - ru, rf, su veya ua'da oluşturulan siteleri taradığı ve ancak daha sonra diğer bölgelere taşındığı yönünde bir görüş var.
Aşama 3
Robot siteye gider ve yapısını tarar, önce daha fazla aramayı gösteren dosyaları arar. Örneğin, bir site Sitemap.xml veya robots.txt için taranır. Bu dosyalar, tarama sırasında arama robotunun davranışını ayarlamak için kullanılabilir. Site haritasını (sitemap.xml) kullanarak robot, kaynağın yapısı hakkında daha doğru bir fikir edinir. Web yöneticisi, arama sonuçlarında gösterilmesini istemediği dosyaları tanımlamak için robots.txt dosyasını kullanır. Örneğin, kişisel bilgiler veya diğer istenmeyen veriler olabilir.
4. Adım
Bu iki belgeyi taradıktan ve gerekli talimatları aldıktan sonra robot, HTML kodunu ayrıştırmaya ve alınan etiketleri işlemeye başlar. Varsayılan olarak, bir robots.txt dosyasının yokluğunda, arama motoru sunucuda depolanan tüm belgeleri işlemeye başlar.
Adım 5
Robot, belgelerdeki bağlantılara tıklayarak, bu kaynağın ardından tarama için kuyruğa alınan diğer siteler hakkında da bilgi alır. Sitede taranan dosyalar, Yandex veri merkezlerindeki sunucularda metin kopyası ve yapı olarak kaydedilir.
6. Adım
Yeniden tarama ihtiyacı da robotlar tarafından otomatik olarak belirlenir. Program, tekrar indekslemeden geçtiğinde, mevcut tarama sonucunu sitenin güncellenmiş hali ile karşılaştırır. Program tarafından alınan veriler farklıysa, site kopyası Yandex sunucusunda da güncellenir.
