فایل robots.txt به موتورهای جستجو کمک می‌کند تا بفهمند کدام بخش‌های سایت شما را باید ایندکس کنند و کدام بخش‌ها را باید نادیده بگیرند. برای یک وب‌سایت وردپرسی، حالت بهینه robots.txt معمولاً شامل موارد زیر است:

اجازه به تمام ربات‌ها برای دسترسی به سایت

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comments/
Disallow: /author/
Disallow: /?s=*

اجازه به ربات‌ها برای دسترسی به نقشه سایت

Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

آدرس نقشه سایت (در صورت استفاده از افزونه SEO)

Sitemap: https://yourdomain.com/sitemap_index.xml

توضیحات:

1. User-agent: *: این خط به تمام ربات‌ها اجازه می‌دهد که به سایت شما دسترسی پیدا کنند.
2. Disallow: • /wp-admin/: جلوگیری از دسترسی به صفحه مدیریت وردپرس. • /wp-includes/: جلوگیری از دسترسی به فایل‌های هسته وردپرس. • /xmlrpc.php: جلوگیری از دسترسی به XML-RPC که معمولاً برای حملات مورد استفاده قرار می‌گیرد. • /trackback/, /comments/, /author/, /?s=*: جلوگیری از ایندکس شدن صفحات خاص.
3. Allow: • /wp-content/uploads/: اجازه دسترسی به فایل‌های بارگذاری شده. • /wp-admin/admin-ajax.php: اجازه دسترسی به AJAX برای عملکردهای خاص.
4. Sitemap: آدرس نقشه سایت شما را مشخص می‌کند که به موتورهای جستجو کمک می‌کند تا ساختار سایت شما را بهتر درک کنند.

نکته:

• حتماً آدرس نقشه سایت (Sitemap) را با آدرس واقعی نقشه سایت خود جایگزین کنید.
• با توجه به نیازها و ساختار خاص وب‌سایت خود، ممکن است بخواهید تنظیمات بیشتری اضافه کنید یا تغییراتی ایجاد کنید.

برای جلوگیری از ایندکس شدن فیدهای RSS و Atom در فایل robots.txt، می‌توانید از دستورات Disallow استفاده کنید. به طور کلی، فیدها معمولاً در مسیرهای خاصی قرار دارند. برای مثال، فیدهای وردپرس معمولاً به این شکل هستند:

• /feed/
• /comments/feed/

بنابراین، برای بستن ایندکس فیدها در فایل robots.txt، می‌توانید به شکل زیر عمل کنید:

User-agent: *
Disallow: /feed/
Disallow: /comments/feed/

مثال کامل فایل robots.txt با بستن فیدها:

اجازه به تمام ربات‌ها برای دسترسی به سایت

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comments/
Disallow: /author/
Disallow: /?s=*
Disallow: /feed/
Disallow: /comments/feed/

اجازه به ربات‌ها برای دسترسی به نقشه سایت

Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

آدرس نقشه سایت (در صورت استفاده از افزونه SEO)

Sitemap: https://yourdomain.com/sitemap_index.xml

نکته:

• مطمئن شوید که آدرس نقشه سایت (Sitemap) را با آدرس واقعی نقشه سایت خود جایگزین کنید.
• با بستن فیدها، موتورهای جستجو به این فیدها دسترسی نخواهند داشت و آن‌ها را ایندکس نخواهند کرد. اگر هدف شما جلوگیری از ایندکس شدن فیدها است، این تنظیمات مناسب خواهند بود.