فایل robots.txt

فایل robots.txt موتورهای جستجو جهت بررسی کردن صفحات وب از ربات‌های جستجوگر استفاده می‌کنند این ربات‌ها صفحات وب را بررسی کرده و اطلاعات موردنظرشان را جمع‌آوری می‌کنند.

فایل robots.txt مشخص می‌کند که ربات‌ها به کدام بخش از سایت دسترسی داشته باشند ضمن اینکه قادر هستند که مشخص کنند کدام ربات به کدام بخش از سایت دسترسی داشته باشد.

درصورتی‌که وب‌سایتی فایل robots.txt را در داخل سایت قرار نداده باشد، ربات‌ها به فرض اینکه اجازه دسترسی به تمام قسمت‌های سایت را دارند، تمام صفحات سایت را بررسی می‌کنند.

ربات‌ها ابتدا فایل robots.txt را بررسی می‌کنند و بر اساس دستورالعمل آن اقدام به بررسی سایت می‌کنند.

هر سایت باید فقط یک فایل robots.txt داشته باشند مگر اینکه وب‌سایت دارای چند ساب دامین باشد که در آن صورت باید برای هرکدام از ساب دامین ها یک فایل robots.txt در نظر گرفته شود.

زمانی که یک ربات در سایت شما به دنبال فایل robots.txt می‌گردد، ابتدا آدرس سایت را تشخیص داده و بعد از اولین اسلش نام robots.txt را قرار می‌دهد و به‌این‌ترتیب به فایل robots.txt سایت دسترسی پیدا می‌کند.

ضمنا جهت شناسایی فایل sitemap.xml توسط موتورهای جستجوگر، شما باید از کد زیر در robots.txt استفاده نمایید.

    Sitemap: http://www.example.com/sitemap.xml

ساخت فایل robots.txt

ساخت فایل robots.txt نیاز به نرم افزار پیچیده ای ندارد و شما به وسیله نرم افزار Notepad می توانید فایل خود را بسازید.

برای ساخت فایل robots.txt باید این مطلب را در نظر داشت که بهتر است این فایل در پوشه root سایت قرار گیرد.

بهتر است برای نوشتن نام فایل robots.txt از حروف کوچک استفاده شود.

چند مثال:

شما می‌توانید دسترسی تمام ربات‌ها را به تمام بخش‌های سایت مسدود کنید

    User-agent: *
    Disallow:  /

شما می‌توانید به تمام ربات‌ها اجازه دسترسی به تمام بخش‌های سایت را بدهید

    User-agent : *
    Disallow  : 

شما می‌توانید فقط به یک ربات اجازه دسترسی بدهید

    User-agent: Google
    Disallow:

    User-agent: *
    Disallow: /

شما می‌توانید دسترسی فقط یکی از ربات‌ها را مسدود کنید

    User-agent: BadBot
    Disallow: /