Robots.txt Nedir ?
Son güncelleme: 27.03.2010 22:45
-
Robots.txt ne işe yarar ?Google web tarama botlarından sitenizde yer alan klasörlerinizi korumak istiyorsanız robots.txt dosyasını kullanmalısınız. Örneğin bir klasör (örnek olarak seo klasörü olsun) ve içerisinde yer alan tüm dosyalarınızı google botlarından bloklamak için yazmanız gereken kod :
User-agent: Googlebot
Disallow: /seo
Dosya tiplerini bloklamak için : ( Bu kod ile .gif dosyalarını indekslemesin diyoruz google botlarına)
User-agent: Googlebot
Disallow: /*.gif$
Dinamik web sayfalarını bloklamak için :
User-agent: Googlebot
Disallow: /*?
Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa metatag bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indekslemesini önleyebilirsiniz :
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
Önemli Not : robots.txt dosyanızı sadece root klasörünüze atmalısınız. Alt klasörlere koymamalısınız! Tekil dosyalar için yukarıdaki metatagı kullanmanız faydalı olacaktır. Eğer robots.txt kullanmazsanız google botları varsayılan olarak sitenize ulaşabildiği (linklenmiş) tüm sayfa ve klasörleri indeksleyecektir.
aLıntı...
- Yanlız Anlamadıgım Şey Linklenmiş Bütün Sayfaları İndexleyecekdir Demiş Bu Bizim Aleyhimizemi ?
- sitemap dosyası olusturulmadan robots.txt dosyasının fonksıyonları cok gecerlı degıldır en saglıklısı sıtemap dosyasının olusturularak servere yuklenmesıdır bu sekılde arama motorları sıtemap uzerındekı lınklerden yola cıkarak web sıteyı rahatlıkla tarayabılırler su sekılde dusunun robots.txt dosyası altınızdakı arabanız ama yolu bulmak ıcınde bır harıtaya ıhtıyacınız vardır sıtemap da tam olarak bu gorevı goruyor.
- Robots.txt Nedir ? Konusuna Benzer Konular
- M Peg 2 nedir 04.03.2004
- Giybet nedir??? 09.03.2004
- Iman Nedir 18.03.2004
- MANTIK NEDiR? 20.03.2004
- Kader Nedİr 18.06.2004
- Plastik Gıda Ambalajı 27.03.2010 22:45