بهینه سازی Robots.txt برای سئو

چگونه می توان با بهینه سازی robots.txt سئویی بهتر برای وبسایت داشت. فایل robots.txt به موتورهای جستجو می گوید که وبسایت شما را به چه صورتی کاوش کنند که به همین خاطر این فایل به ابزاری قدرتمند برای سئو بدل شده است.

فایل robots.txt چیست؟

robots.txt فایل متنی است که مالک وبسایت می تواند با ساخت آن به ربات موتورهای جستجو بگوید که چگونه صفحات وبسایت او را کاوش و ایندکس کنند.

در مسیر ریشه وبسایت ذخیره می شود و فرمت این فایل به صورت زیر است:

-Agent: *
  Allow: /wp-content/uploads/
  Disallow: /wp-content/plugins/
  Disallow: /wp-admin/
  User Sitemap: https://example.com/sitemap_index.xml

ممکن است که چندین خط دستورالعمل داشته باشید که از طریق آنها بخواهید اجازه یا عدم اجازه بررسی آدرس های مشخص و چندین sitemap یا نقشه سایت را بدهید. اگر آدرسی را غیرمجاز اعلام نکنید، ربات موتورهای جستجو اینطور فرض می کند که اجازه خزیدن در آنها را دارد.

طریقه لاگین به داشبورد مدیریتی وردپرس

در مثال robots.txt بالا، ما به موتورهای جستجو اجازه دادیم تا فایل های داخل پوشه uploads وردپرس را کاوش کرده و ایندکس کنند. پس از آن به ربات ها این اجازه را ندادیم که پوشه های admin و plugin وردپرس را کاوش کرده و ایندکس کنند. در انتها هم آدرسی برای نقشه سایت XML معرفی کردیم.

آیا به فایل robots.txt برای وبسایت وردپرسی احتیاج دارم؟

اگر فایل robots.txt را ندارید، باز هم موتورهای جستجو اقدام به کاوش و ایندکس محتوای وبسایت شما می کنند. اما قادر نیستید که به موتورهای جستجو بگویید که چه صفحات یا پوشه هایی را نبایستی کاوش کنند.

این مساله در ابتدا تاثیر زیادی بر وبسایتی که به تازگی کار خود را آغاز کرده و محتوای چندانی ندارد نمی گذارد. اما پس از اینکه وبسایت شما رشد می کند و محتوای زیادی داشته باشید، بایستی کنترل بهتری بر اینکه وبسایت شما چطور کاوش شده و ایندکس می شود داشته باشید.

ربات های جستجو در واقع سهم کاوش برای هر وبسایت دارند. این بدان معنا است که آنها تعداد مشخصی صفحه را طی یک نشست کاوش، می‌خزند. اگر طی این نشست کاوش تمام صفحات وبسایت شما به اتمام نرسد، کار خزیدن خود را در نشست بعدی از سر می گیرند. این مساله می تواند نرخ ایندکس وبسایت شما را کاهش دهد.

می توانید این مساله را با عدم اجازه ربات های جستجو برای خزش در صفحات بی مورد مانند صفحات admin وردپرس، فایل های افزونه و پوشه های پوسته رفع کنید.

خصوصی کردن وردپرس: وبسایت و مطالب

با عدم اجاز به خزیدن در صفحات غیرضروری، در واقع خواهید توانست سهم خزش مربوط به وبسایت خود را حفظ کنید. این کار به موتورهای جستجو کمک می کند تا حتی صفحات مفید بیشتری را در وبسایت شما جسته و آنها را در زودترین زمان ممکن ایندکس کنند.

دلیل خوب دیگر برای استفاده از فایل robots.txt زمانی است که شما می خواهید جلوی موتورهای جستجو را از ایندکس کردن صفحات و نوشته های وبسایت خود بگیرید.

فایل ایده آل robots.txt چگونه به نظر می رسد؟

اغلب وبسایت‌های معروف از فایل ساده robots.txt استفاده می کنند. محتوای این فایل می تواند بسته به نیازهای مشخص آن وبسایت متغیر باشد.

User-agent: *
  Disallow:
  Sitemap: http://www.example.com/post-sitemap.xml

این فایل robots.txt به تمام ربات ها اجازه می دهد تا تمام محتوا را ایندکس کرده و همچنین دو فایل نقشه سایت را در اختیار آنها قرار می دهد.

برای وبسایت های وردپرسی، ما پیشنهاد می کنیم که از محتوای زیر برای فایل robots.txt استفاده کنید.

User-Agent: *
  Allow: /wp-content/uploads/
  Disallow: /wp-content/plugins/
  Disallow: /wp-admin/
  Disallow: /readme.html
  Disallow: /refer/
  Sitemap: http://www.example.com/post-sitemap.xml
  Sitemap: http://www.example.com/page-sitemap.xml

این محتوا به ربات ها می گوید که تمام تصاویر و فایل ها را ایندکس کنند. اما اجازه ایندکس کردن فایل های افزونه وردپرس، ناحیه مدیریت وردپرس، فایل راهنمای وردپرس و لینک های همکاری در فروش را به ربات ها نمی دهد.

با افزودن نقشه سایت به فایل robots.txt، کار یافتن تمام صفحات وبسایت تان را برای ربات گوگل آسان کرده اید.

چگونه فایل robots.txt را در وردپرس بسازم؟

دو روش برای ایجاد فایل robots.txt در وردپرس وجود دارد. می توانید از هر دو روشی که در ادامه می‌آید استفاده کنید.

روش اول: ویرایش فایل robots.txt با استفاده از افزونه Yoast SEO

اگر از افرونه Yoast SEO استفاده می کنید، پس از یک تولید کننده فایل robots.txt نیز بهره مند خواهید شد.

می توانید از این افزونه برای ساخت و ویرایش فایل robots.txt مستقیما از ناحیه مدیریت وردپرس استفاده کنید. خیلی ساده به مسیر سئو » ابزارها در ناحیه مدیریت وردپرس خود بروید و بر روی لینک ویرایشگر فایل کلیک کنید.

در صفحه بعدی، صفحه Yoast SEO به شما فایل جاری و موجود robots.txt را به نمایش خواهد گذارد. اگر فایل robots.txt را نداشته باشید، پس این افزونه چنین فایلی را برای شما خواهد ساخت.

به صورت پیش فرض فایل robots.txt ایجاد شده توسط Yoast SEO قوانین زیر را به این فایل خواهد افزود:

User-agent: *
Disallow: /

بایستی این متن را پاک کنید زیرا که تمام موتورهای جستجو را از خزیدن در وبسایت شما به صورت کامل منع می کند.

چرا وردپرس رایگان است؟

پس از حذف متن پیش فرض، می توانید یک گام دیگر پیش بگذارید و قوانین خودتان را به فایل robots.txt بیافزایید. ما توصیه می کنیم که از قالب پیشنهاد شده بالا برای فایل خود استفاده کنید.

وقتیکه کارتان به پایان رسید، فراموش نکنید که فایل را ذخیره کنید.

روش دوم. ویرایش robots.txt به صورت دستی با دسترسی به FTP

برای این روش بایستی دسترسی به FTP وبسایت خود برای ویرایش فایل robots.txt داشته باشید. خیلی ساده با استفاده از cPanel یا دایرکت ادمین خود وارد مسیر ریشه فضای میزبان خود شوید و سپس این فایل را در همین مسیر خواهید یافت.

اگر چنین فایلی را نمی بینید، فایلی با نام robots.txt ایجاد کنید. می توانید برای ویرایش این فایل بر روی هاست خود اقدام به ویرایش آن کرده یا اینکه بر روی سیستم شخصی خود دانلود و سپس ویرایش کرده و در نهایت اقدام به آپلود آن در مسیر ریشه کنید.

چگونه فایل robots.txt را ویرایش کنید؟

وقتیکه فایل robots.txt را ساختید، همیشه تست این فایل با استفاده از ابزاری آزمایش گر می تواند فکری خوب باشد. ابزارهای آزمایش کننده بسیاری وجود دارد مثلا می‌توانید از ابزاری که ryte در اختیار شما گذارده استفاده کنید.

هدف بهینه سازی فایل robots.txt ممانعت موتورهای جستجو از خزیدن در صفحاتی است که به صورت عمومی در دسترس نیستند. برای مثال صفحاتی که در پوشه افزونه شما وجود دارند یا صفحاتی که در پوشه admin وردپرس قرار دارند.