Arkadaşlar genellikle robots.txt dosyası böylemi olmalı şöylemi olmalı diye bir çok kez ikileme düşeriz, özellikle bu işte yeni isek. bende sizlere ideal bir robots.txt örneği vermek istedim buyurun umarım işinize yarar.

Kullanımı: Masa Üstünüze Bir Not Defteri Acın, ismini robots yapıp, forumun kurulu olduğu ana dizine ftp den atın.

#ALL BOTS
User-agent: *
Disallow: /admincp/
Disallow: /archive/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /members.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php

Beğeniler: 1
Favoriler: 0
İzlenmeler: 2339
favori
like
share
D3viL Tarih: 29.04.2010 11:34
bunu robots.txt ile yapamassın robots.txt nin faydası yokmu peki var gereksiz klasor leri ne kadar robots.txt den yasaklarsan google botları sitende gereksizce vakit kaybetmeden sitende gerekli yerleri index ler buda demek oluyor ki members gibi uyeleri vs index letmeyin google ye ki sitenizdeki konulara vakit ayırsın.

sitenizin hızlı indexlenmesi icin dikkat etmeniz icin gerekenler sırası ile bellidir.

1: robots.txt den gereksiz vakit kaybettiren tum sayfaları yasakların sadece konular kalsın.
2: sitemap eklentisini mutlaka kullanın ve google webmaster dan sitenizi tanıtın.
3: sitenizde actığınız konuları surekli kopyala yapıstır baska sitelerden yapmayın biraz da siz kendinize ait bildiğiniz seyleri paylasarak özgün icerik elde edin.
4: forumda mumkun mertebe arsiv eklentisi kullanın aslında son konuları indexletmeyi basaracak bir kurulum yaparsanız örnek burdaki maintaze "İstemeyin uStad Levis Paylaşmıyor" kendiniz bişiler yapmaya çalışın.
5: sitenize mutlaka alexa sayacını koyun, ve alexa tool bar yuklemeyide ihmal etmeyin.
6: sitenizi toplistlere ekleyin ayda 10 taneyi gecmeyecek şekilde, ve link satın almayıda ihmal etmeyin. link satın aldığınız sitelerinde hit, alexa, değerlerini mutlaka göz önünde bulundurun örnek herkeze link vermiyor ama sansınızı bi deneyin main-board dan yani burdan link alın. Yetkili Levis

tüm bunlardan sonra yapmanız gereken sabredip beklemek.
okulyolu Tarih: 12.04.2010 14:04
arkadaşlar bunları yapıyoruz ama kulaktan dolma fikirlerle.. bir yerde birşey duyuyoruz haydaaaa hemen arayıp onuda yapmaya kalkıyoruz.. fakat herkesin amacı sanırım sitenin çabucak indexlenip googlede güncellenmesi.. yani diyelimki forumda yeni bir konu açıldı.. açılan bu konu başlığının googlede yayınlanmaya başlaması burda sözü edilen robots mu yoksa vbseo yada gsitecrawler türü programlar aracılığıyle sitemap mi ? ben bazı sitelere konu açıyorum şak diye 1 saat sonra googlede kendi sorduğum soruyu görüyorum ama naçizane yapmaya çalıştığım sitemde konu açılalı 1 ay olmuş googlede hala görünmüyor.. bu hızlandırmayı nasıl artırabiliriz ??
D3viL Tarih: 23.02.2010 09:05
Malcolm__X Sanırım SUnu Demek İstedim, Ben AdminCP Klasorumu guvenlik icin ismini değiştirdim buraya yazmam ne kadar doğru olur?

Cevap: Haklısın Değiştirdiğin klasor ismini robots.txt den yeni adını öğrenebilirler ama bunu robots a eklemesende kolaylıkla öğrenmenin bir çok yolu var hackliyecek kadar bilgiye sahip birisi dosyanın değişmiş isminide kolaylıkla bulacaktır. üstelik robots.txt ye o klasor u eklemesen google inurl:"" aramalarında dosya adına indexlendiği icin rastlayıp hacklemeleri cok daha kolaylastırmıs olursun cunku robots a eklemediğin icin dosyalarının ismi google de indexlenecektir.

karabela_06 sanırım sorunu kısıtladığım dosyalar arasında images ve resim eklediklerime izin vermek istiyorum.

Cevap: Kısıtlamak istediklerinize Disallow İzin Vermek İstediklerinize Allow Ekleyeceksiniz. Aşağıya Anlamanız için Küçük Bir Örnek Giriyorum.

Allow: /images/
Allow: /album.php
Disallow: /includes/
Disallow: /admincp/
Disallow: /modcp/
karabela_06 Tarih: 20.02.2010 19:21
benimkide böle fakat ben üye albüm ve resimlerinin googlede çıkması için nereye hangi kodu eklemem gerek yardımcı olur musunuz?

Şimdiden teşekkür ederim...
Malcolm__X Tarih: 14.02.2010 22:47
Bilmek ve ögrenmek icin soruyorum, hata aramak icin degil.

Listedeki Disallow: /admincp/ yazilmasi acaba ne kadar dogru olur? Gerci güvenlik bakimindan ismini degistirmis olsak dahi gercek ismini herhalde buraya yazmak gerekli, peki risikosu yokmu acaba yazmanin sizce?

Tsk.
FreddyKrueger Tarih: 06.02.2010 14:18
[COLOR="#c0ccf4"]@ general67

iLqinç Bir Soru... Tabi Ki Içine KopyaLaCakSınız...
general67 Tarih: 05.02.2010 23:06
bu yazıları içine mi kopyalayacağız..
DoublePlus Tarih: 19.01.2010 21:04
saol
FreddyKrueger Tarih: 19.01.2010 08:54
[COLOR="#c0ccf4"]@ DoublePlus

Bu Konuda Örnek Var Zaten... AyrıCa robots Diye Arama Yaparak da Ba$ka ÖrnekLere uLa$abiLirSiniz...