Her sitenin sayfaları, sitedeki bilgileri, arama motorlarında kullanıcıların isteği üzerine kullanılabilir olacak şekilde işleyen arama robotları tarafından düzenli olarak taranır. Arama motorlarından gelen ziyaretçilerin ziyaretleri site trafiği üzerinde olumlu bir etkiye sahiptir ve kaynağın gelişimini teşvik eder. Ancak, sitede, bilgileri İnternet izleyicisine yönelik olmayan sayfalar (örneğin, kullanıcıların kişisel sayfaları veya kayıt sayfası) varsa, arama motorlarından bu tür sayfalara geçiş gerekli değildir ve bu bilgilerin indekslenmesini yasaklamak daha iyidir.
Gerekli
- - kendi web siteniz olsun
- - İndekslenmesi yasaklanması gereken sayfaların bağlantılarını bilmek.
- - en azından temel HTML bilgisine sahip olmak
Talimatlar
Aşama 1
Arama robotunun sitenin belirli sayfalarını indekslemesini önlemek için, sitenizde zaten varsa robots.txt dosyasında değişiklik yapmanız veya bu dosyayı oluşturmanız gerekir.
Adım 2
robots.txt dosyası zaten siteye yüklenmişse ve bu dosyayı doğrudan kaynak kontrol panelinden düzenlemek mümkünse, robots.txt dosyasını düzenlemek için web hizmeti üzerinden açın.
Aşama 3
İstenen dosyada doğrudan kontrol panelinden değişiklik yapmanın bir yolu yoksa, bu dosyanın bağlantısını tıklayarak robots.txt dosyasını bir tarayıcıda açın. Açılan sayfadaki tüm verileri kopyalayın ve Not Defteri'ndeki sayfaya yapıştırın.
4. Adım
Sitede robots.txt yoksa, yeni belgede gerekli kodu girmeniz gereken "Not Defteri" programını açın.
Adım 5
Boş bir metin belgesi sayfasına, gerekli ilk satırı yazın:
Kullanıcı aracısı: *
6. Adım
Ardından Enter tuşuna basarak bir sonraki satıra geçin ve aşağıdaki kodu yazın:
Disallow: / index / page3Disallow: indeksleme olmadığını belirtir ve / index / page3, indekslenmesi gerekmeyen bir sayfaya bağlantıdır. Bağlantı / dizin / sayfa3 yerine, sitenizin robots tarafından işlenmesini engellemek istediğiniz sayfasına bir bağlantı ekleyin.
7. Adım
Bağlantının başında alan adının kendisinin eksik olduğuna dikkat edin; girişteki varlığı, eğik çizgi anlamına gelir. Bir siteyi tararken, bir arama robotu bu tür bağlantılara otomatik olarak bir alan adı ekler. Bu nedenle gerekli sayfalara linkleri bu şekilde yazın.
8. Adım
İzin Vermedikten Sonra: Yalnızca belirli bir sayfaya bağlantı değil, aynı zamanda sitenin herhangi bir bölümüne veya dizinine bağlantı da yerleştirebilirsiniz. Benzer şekilde, sitenin istediğiniz bölümünün indekslenmesini de yasaklayabilirsiniz.
9. Adım
Kaynağın birkaç farklı bölümünün robotlar tarafından işlenmesini yasaklamak gerekirse, her bölüme veya sayfaya yeni bir satıra bir bağlantı yazın, bunların başında İzin Verme: girişini koymayı unutmayın.
Adım 10
Robots.txt dosyasını değiştirme işlemini tamamlamak için, dosyayı kontrol panelinde düzenlerken "Kaydet" düğmesini tıklayın veya girişleri içeren bir metin belgesini robots.txt adı altında kaydedin ve bu dosyayı siteye yükleyin.
