آموزش سرویس گوگل وبمستر تولز – بخش ۶
آموزش سرویس گوگل وبمستر تولز - بخش 6 : در این بخش، فایل robots.txt را معرفی کرده و کاربرد آن را در یک وب سایت بیان می کنیم و در نهایت نحوه چک کردن و ویرایش فایل robots.txt در سرویس گوگل وبمستر تولز را آموزش خواهیم داد...

در مقاله قبل، افزودن نقشه سایت (Site map) در گوگل وبمستر تولز را آموزش دادیم. در این مقاله، درباره فایل Robots.txt مطالبی را ارائه خواهیم داد و نحوه چک کردن این فایل را توضیح می دهیم.

 

بررسی فایل robots.txt  در گوگل وبمستر تولز

 

فایل robots.txt چیست و چه کاربردی دارد؟

داشتن یک وب سایت به این معنی نیست که می خواهید تمام صفحات آن توسط خزنده های موتور جستجو ایندکس شوند.

اگر صفحه یا صفحاتی وجود دارد که می خواهید از دسترس خزنده ها (crawler) دور بماند و ایندکس نشود، می توانید از فایل robots.txt استفاده کنید. فایل ربات (robots.txt) در روت سایت شما قرار دارد و به ربات های خزنده می گوید که کدام یک از صفحات را پیمایش و ایندکس نکند.

این نکته قابل ذکر است که استفاده از فایل ربات، تضمینی نمی دهد که صفحات موردنظر ما از دید خزنده ها پنهان بماند و ایندکس نشوند. همچنین فایل ربات مانع از این نمی شود که سایت های دیگر به آن صفحه یا صفحات ذکر شده لینک ندهند. حتی اگر این صفحات، ایندکس نشوند.

» برای تکمیل اطلاعات خود درباره فایل robots.txt مقاله همه چیز درباره فایل robots.txt را مطالعه نمائید.

 

مشاهده و ویرایش فایل robots.txt:

اگر می خواهید فایل ربات (robots.txt) وب سایت تان را مشاهده کنید و آن را ویرایش کنید، مانند تصویر زیر، به داشبورد کنسول مراجعه کرده و در منوی Crawl ، گزینه robots.txt Tester را کلیکی کنید:

 

چک کردن فایل robots.txt

 

اگر هنوز وب سایت تان را تائید (verify) نکرده اید، قبل از مشاهده و ویرایش فایل robots حتما verify کنید. منوی robots.txt tester امکان مشاهده، ویرایش و احیانا در صورت بروز خطا امکان نمایش خطا را به شما می دهد. همچنین این امکان را برای شما فراهم می کند که خزنده و یا ربات های گوگل را بهمراه url ای که می خواهید ایندکس نشوند را انتخاب کنید:

 

منوی robots.txt tester

 

نکاتی راجع به فایل Robots:

نکته ۱: به محض اعمال تغییر در فایل ربات (robots.txt) توسط منوی robots.txt tester ، فایل فیزیکی robots.txt واقع در روت (ریشه) هاست شما بطور اتوماتیک آپدیت نمی شود. برای آپدیت شدن سریع و بلافاصله این فایل، باید فایل robots را از روت سایت دانلود کرده و پس از اعمال تغییرات لازم، آنرا آپلود کنید تا با فایل قبلی جایگزین (replace) شود.

نکته ۲: فایل robots.txt حتما باید در ریشه (root) هاست وب سایت تان ایجاد شود. بعنوان مثال اگر در آدرس زیر ذخیره شود بی تاثیر خواهد بود:

http://www.example.com/somecategory/robots.txt

در ابزار تست فایل ربات (robots.txt testing) روی لینک Verify live version کلیک کنید تا مطمئن شوید فایل ربات بدرستی در روت هاست شما قرار گرفته است. سپس Submit live version را کلیک کنید.

در مقاله بعد، نحوه معرفی یک url به گوگل وبمستر تولز به منظور سریع تر ایندکس شدن آن صفحه وب را آموزش می دهیم.


برچسب‌ها:

چک کردن فایل robots.txtفایل robots در وبمسترفایل robots.txtفایل رباتفایل ربات در وبمستر تولزفایل ربات کنسول جستجوی گوگل


دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

شانزده − یازده =