|
|
|
|
robots.txt nedir?
|
17.06.2009 13:39:13
|
|
robots.txt ismi ve yapısı sayesinde
arama motorlarının botlarının indexleme işlemi sırasında sitenizi daha
rahat taramasını ve sizin izin verdiğiniz ölçüde indexlemesini sağlar.
bu dosya ismiyle arama motorları arasında standart olarak kabul edilmiş
ve yerini almıştır. Bu dosyanın içeriğinde vericeğiniz basit komutlarla
sitenizin daha kolay indexlenmesine de yardımcı olmuş olucaksınız.
basit bir robots.txt dosyası aşağıdaki gibidir:
örnek 1:
user-agent: *
disallow:
bu iki satır bütün botların sitenizde dilediği gibi indexleme yapmasını sağlar.
ama tavsiye edilen bu değildir. Çünkü sitenizde indexlenmesini istemediğiniz bölümler ve içerikler vardır.
Örnek 2:
user-agent: *
disallow: /administrator/
2.
örnekte ise administrator klasörünü herhangi bir bot a karşı koruyor.
Böylece içerik olarak administrator klasörü hariç diğer bütün klasörler
indexlenebiliyor.
Örnek 3:
user-agent: google
disallow: /administrator/
Yukarıdaki
örnekte(örnek 3) sadece google’ın /administrator klasörünü indexlemesi
engellenir. Diğer arama motorları sitede istediği gibi indexleme
yapabilir.
Örnek 4:
user-agent: google
disallow:
user-agent: lycos
disallow: /tmp
disallow: /user
Örnek
4 gördüğümüz üzere user-agent olarak google a hiç bir kısıtlama
getirilmemiştir. Ama lycos için /tmp ve /user klasörlerine kısıtlama
getirilmiştir.
|
|
|
|
|
|