Arkadaşlar genellikle robots.txt dosyası böylemi olmalı şöylemi olmalı diye bir çok kez ikileme düşeriz, özellikle bu işte yeni isek. bende sizlere ideal bir robots.txt örneği vermek istedim buyurun umarım işinize yarar.

Kullanımı: Masa Üstünüze Bir Not Defteri Acın, ismini robots yapıp, forumun kurulu olduğu ana dizine ftp den atın.

#ALL BOTS
User-agent: *
Disallow: /admincp/
Disallow: /archive/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /members.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.phpvBulletin robots.txt Örneği