چگونه فایل robots.txt برای وردپرس ایجاد کنیم؟

چگونه فایل robots.txt برای وردپرس ایجاد کنیم؟

در این مقاله میخواهم شما را به طور کامل با فایل robots.txt آشنا کنم و اینکه چگونه فایل robots.txt برای وردپرس ایجاد کنیم؟ و در آخر شما را با دو نمونه از robots.txt وردپرس استفاده می شود آشنا کنم. به نظر شما فایل robots.txt چیست؟ آیا می توان این فایل را ویرایش کرد و به صورت بهینه از آن استفاده نمود؟

فایل robots.txt برای وردپرس بسیار مهم است. موتورهای جستجو برای اینکه سایت شما را ایندکس کنند نیاز به یکسری قوانین دارند. همان‌ طور که می‌ دانید نام علمی آن crawler است که در صفحات وب‌ سایت شما می‌خزند و طبق اصول خود صفحات را در بانک اطلاعاتی خود ذخیره می‌کنند.

ممکن است شما به‌ عنوان مدیر سایت دوست نداشته باشید که مثلاً پنل مدیریتی شما توسط این ربوت ها در بانک آن‌ ها ثبت شود یا اینکه بعضی از صفحات که خودتان می دانید به چه قصدی تهیه‌ کرده‌ اید دوست ندارید که ثبت شوند، اینجاست که به یکسری قوانین جهت جلوگیری نیاز دارید تا شما به‌ عنوان مدیر سایت به روبوت های موتورهای جستجو دستور دهید.

فایل robots.txt وردپرس، هم دقیقاً برای همین به وجود آمد. یک فایل متنی ساده که مدیران به crawler ها می‌گویند که کدام قسمت از سایت را ایندکس نکنند. (البته ممکن است این وسط بعضی از روبوت‌ ها هم اصلاً به این دستورات توجهی نکنند! «مثل روبوت‌ هایی که برای امنیت سایت و سرور هستند یا روبوت‌ های مخربی که آدرس‌های ایمیل‌ ها را جمع‌ آوری می‌ کنند»)

نوشتن این فایل هم بسیار ساده است، فقط نیاز دارید که به‌ وضوح بدانید که چه قسمت‌ هایی را می‌ خواهید یا چه قسمت‌ هایی را نمی‌ خواهید که ثبت شوند. پس با ما همراه باشید تا به شما بگوییم که چگونه فایل robots.txt برای وردپرس ایجاد کنیم؟

نکاتی مهمی که در مورد فایل robots.txt باید بدانید

  • مشاهده‌ و دیدن این فایل برای عموم آزاد است! همه می‌توانند محتوای این فایل را ببینند!
  • از این فایل جهت مخفی کردن اطلاعات خود استفاده نکنید، یعنی شاخه‌ ای از سایت که اهمیت زیادی دارد را در آن وارد نکنید که با یک‌ بار زدن و نمایش آن بشود به تمام محتوای آن دسترسی داشت.
  • در ساخت فایل دقت کنید که نام آن با حروف کوچک بنویسید.
  • اگر این فایل وجود نداشته باشد چه می‌شود؟ تمامی روبات‌ ها دسترسی آزادی به‌ تمامی محتوای وب‌ سایت دارند (احساس آزادی)
  • اگر این فایل را خالی ایجاد کنیم و داخلش دستوری ننویسیم، چه می‌شود؟ خب بازم جواب بالا درست است، روباتی که وارد سایت می‌ شود اول این فایل را چک می‌ کند و اگر وجود نداشت و یا وجود داشت ولی خالی بود یعنی آزاد است که تمام مطالب را ایندکس کند.

 

توضیح کامل دستورات فایل robots.txt

دو دستور اصلی دارد! که به‌ وسیله‌ی آن‌ ها شما برای روبوت‌ های خزنده قوانینی وضع می‌کنید:

دستور user-agent

به معنی تنظیمات مقابل آن بر روی تمامی روبوت‌ ها (مثل گوگل، بینگ، یاهو) اعمال شود

User-agent:*

دسترسی برای تمامی روبوت‌ ها آزاد باشد (البته بستگی به دستورات بعد این دارد)

دستور disallow

به معنی اجازه دسترسی محتوای سایت را به هیچ‌ یک از پوشه‌ ها و فایل‌ ها نمی‌ دهد. یعنی روبوت موقعی که با این عبارت روبرو می‌ شود، آدرس را مشاهده و ایندکس گذاری نمی‌کند.

Disallow: /

یعنی سایت (root) یا شاخه اصلی سایت را ایندکس نکن (پنهان کردن لینک‌های سایت از روبوت‌ ها)

 

چند مثال برای درک بیشتر این دستورات

User-agent: *
Disallow: /

یعنی تمامی روبوت‌ ها، تمام وب‌ سایت را ایندکس نکنند (نیاز به خط اول در همه موارد است)

User-agent: Googlebot
Disallow:

به روبات گوگل اجازه دهید که تمام سایت را (بخش مدیریت و بخش کاربری) را ایندکس کند، یعنی احساس آزادی را به روبوت‌ ها داده‌اید.

User-agent: *
Disallow: /photos

یعنی تمامی روبوت‌ ها پوشه تصاویر را ایندکس نکنند.

دستور full allow یا allow:

اجازه ایندکس را به‌صورت کامل به روبوت‌ ها می‌ دهد.

دستور Full Disallow:

اجازه ایندکس گذاری را به‌صورت کامل از روبوت‌ ها قطع می‌کند

دستور conditional allow اجازه شرطی به روبوت‌ ها:

برای روبوت‌ ها شرط بگذاریم که کدام صفحات را ایندکس کن و کدام را نه

چگونه فایل robots.txt برای وردپرس ایجاد کنیم؟

با توجه به دستوراتی که در بالا توضیح دادم، می‌ خواهم برای سیستم وردپرس یک فایل روبوت درست کنم. شما می‌توانید از دستورات زیر برای بخش robots.txt سایت خود استفاده کنید.

User-agent: *
Disallow: /wp-admin/
Disallow: *?replytocom

دسترسی تمام روبوت‌ ها را به بخش ادمین سایت محدود کن، دستور سوم برای این است که اگر سیستم نظر دهی در سایت شما فعال است، موقعی که بر روی دکمه reply کلیک می‌ کنید یک لینک به‌صورت زیر در سایت ایجاد می‌ شود و روبوت‌ ها آن را ایندکس می‌ کنند را از ایندکس گذاری حذف می‌کند.

https://www.behinaweb.com/services?replytocom=7062

اگر هنوز اول راه هستید و تازه سایت خود را بالا آوردید می‌توانید آن را در فایل robots.txt غیرفعال کنید ولی اگر مدت زیادی هست و پاسخ زیادی به نظرات داده‌اید حذف این‌ها یکم سخت است و برای راحت‌ تر کردن کار می‌توانید از افزونه‌ای که برای این کار هست استفاده کنید.

نام افزونه replytocom redirector

از دستور زیر هم می‌توانید از ایجاد شدن این‌ طور لینک‌ هایی در سایت خود مطمئن شوید.

site:domain.com inurl:replytocom

یک نمونه فایل robots.txt که در بعضی وب‌ سایت‌ ها از آن استفاده‌ شده است.

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /linkout/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php

مثل توضیح بالا به موتورهای جستجو گفته شده که نباید پوشه هایی را ایندکس گذاری کنند.

 

چگونه فایل robobts.txt وردپرس را به گوگل اضافه کنیم؟

برای اضافه کردن این فایل به کنسول وب مستر گوگل کارهای زیر را انجام دهید:

  1. ابتدا وارد کنسول وب مستر گوگل شوید
  2. روی سایتی که به وب مستر قبلا اضافه کردید کلیک کنید و از منوهای سمت چپ مسیر زیر را طی کنید
  3. Crawl > robots.txt tester
  4. یکی از محتواهای بالا را کپی کرده و در قسمت ادیتور قرار دهید و دکمه submit را بزنید
  5. محتوای داخل ادیتور را بردارید و یک فایل متنی به نام robots.txt ایجاد کنید و محتوای مورد نظر را داخل آن قرار دهید
  6. در ریشه هاست خود آن را آپلود کنید و نام آن را در قسمت کادر کوچک پایین تایپ کنید، روی دکمه test کلیک کنید تا تایید کند که فایل را پیدا کرده است یا خیر
  7. کار تمام است. مراحل بالا را همراه با تصویر برای شما قرار دادیم تا راحت تر بتوانید این کار را انجام دهید.

ساخت فایل robots.txt برای وردپرس

 

 

جهت ارتباط با ما و وقت مشاوره می توانید از راه های ارتباطی زیر استفاده نمایید:
محمد قربانی
شماره پشتیبانی بهیناوب شماره موبایل: 09157560164
واتس آپ بهیناوب واتس آپ: 09157560164
کانال تلگرام بهیناوب تلگرام: ورود به کانال تلگرام

به درآمد رساندن و افزایش بازدید و ایجاد زنگ خور فروشگاه های اینترنتی

کانال تلگرام بهیناوب

اگر می‌خواهید از آخرین و محبوب‌ترین مقالات ما در ایمیل خود مطلع شوید، همین الان ایمیل خود را در کادر زیر وارد کنید

تعداد علاقه‌مندانی که تاکنون عضو خبرنامه ما شده‌اند

۷

مقاله های مرتبط :

جدیدترین محصولات فروشگاه ما

بنویسید و پولدار شوید

بنویسید و پولدار شوید

حراج
۴,۰۰۰,۰۰۰ تومان ۳,۰۰۰,۰۰۰ تومان

دیدگاه خود را بیان کنید :

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *