فایل robots.txt به موتورهای جستجو کمک میکند تا بفهمند کدام بخشهای سایت شما را باید ایندکس کنند و کدام بخشها را باید نادیده بگیرند. برای یک وبسایت وردپرسی، حالت بهینه robots.txt معمولاً شامل موارد زیر است: اجازه به تمام رباتها برای دسترسی به سایت User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /xmlrpc.phpDisallow: /trackback/Disallow: /comments/Disallow: /author/Disallow: /?s=* اجازه به […]