آموزش سئو یا بهینه سازی سایت – بخش ۲-۸
آموزش سئو یا بهینه سازی سایت – بخش 2-8 » در این مقاله، فایل متنی ربات و تگ متای ربات (Meta Robots) و اتریبیوت nofollow برای لینک را معرفی می کنیم.

در مقاله قبل، پروتکل های معروف موتورهای جستجو را معرفی کردیم و فرمت های نقشه سایت (SiteMap) را شرح دادیم. در این مقاله ، فایل متنی ربات (Robots.txt) و تگ متای ربات (Meta Robots) و اتریبیوت nofollow برای لینک را معرفی کرده و آموزش می دهیم.

 

فصل هشتم: سرویس ها و ابزارهای موتورهای جستجو

بخش دوم

 

فرمت های نقشه سایت (Sitemap Formats):

 

۲- فایل متنی ربات (Robots.txt):

فایل robots.txt که محصولی از وب سایت robotstxt می باشد، یک فایل متنی می باشد که در فولدر ریشه هر وب سایت (root directory) ذخیره می شود (برای مثال www.google.com/robots.txt) و دستوراتی را به خزنده های اتوماتیک موتورهای جستجو می دهد. وب مستران توسط این فایل اعلام می کنند چه دایرکتوری از وب سایت شان را می خواهند توسط خزنده ها پیمایش نشود. برای کسب اطلاعات بیشتر در زمینه فایل robots.txt به وب سایت Moz مراجعه کنید. دستورات زیر را می توان در این فایل تعریف کرد:

  1. Disallow: دسترسی ربات های خزنده را به یک فایل یا فولدری خاص را محدود می کند.
  2. Sitemap: آدرس قرارگیری نقشه و یا نقشه های سایت را در آن تعریف می کنیم.
  3. Crawl Delay: سرعت خزنده را مشخص می کند که با چه سرعتی سرور را پیمایش می کند.

 

مثالی از فایلrobots.txt بصورت زیر است:

#Robots.txt www.example.com/robots.txt
User-agent: *
Disallow:

# Don’t allow spambot to crawl any pages
User-agent: spambot
disallow: /

sitemap:www.example.com/sitemap.xml
 

2-	فایل متنی ربات (Robots.txt)

 

نکته: تمام ربات های خزنده از این فایل تبعیت نمی کنند. افرادی با نیت های کثیف! ممکن است رباتی بسازند (مانند email scrapers) که از این پروتکل پیروی نکند و در موارد حاد این قضیه، اینگونه ربات ها می توانند محل اطلاعات محرمانه را بدست آوردند و از آن داده ها سوء استفاده کنند. به همین دلیل توصیه می شود آدرس فولدر مدیریت وب سایت (Administration) و سایر مسیرهای محرمانه و امنیتی وب سایت تان را در فایل robots.txt ذخیره نکنید.

 

۳- تگ متای ربات (Meta Robots):

در تگ متای ربات، دستوراتی در سطح هر صفحه وب به ربات های خزنده (Crawler Robots) داده می شود.  این تگ متا نیز مانند سایر تگ های متا باید در بخش head داکیومنت وب تعریف شود.

در زیر مثالی از نحوه استفاده از تگ متای ربات می بینید:

An Example of Meta Robots
<html>
<head>
    <title>The Best Webpage on the Internet</title>
    <meta name="ROBOTS" content="NOINDEX, NOFOLLOW">
</head>
<body>
    <h1>Hello World</h1>
</body>
</html>

در تگ متای مثال فوق، به خزنده های موتور جستجو دستور داده ایم که نه تنها این صفحه را ایندکس نکند (NOINDEX) بلکه لینک های این صفحه را نیز پیگیری نکند و در گراف لینک های این صفحه تعریف نکند (NOFOLLOW). به تصویر زیر دقت کنید:

خزنده های موتور جستجو

 

۴- اتریبیوت nofollow برای لینک (rel=”nofollow”):

آیا به یاد دارید (در مقالات قبل) که هر لینک چگونه می تواند مانند یک رای مثبت برای صفحه وب باشد؟ nofollow این اجازه را به وب مستران می دهد که با اینکه به صفحه ای لینک داده اند، به آن لینک رأی (Vote) ندهند. بطور لفظی nofollow به موتور جستجو می گوید که از این لینک پیروی نکند. با این وجود، برخی از موتورهای جستجو به نظور کشف صفحات جدید از اینگونه لینک ها پیروی می کنند ولی رأی در نظر نمی گیرند. لینک های nofollow ارزش به مراتب کمتری نسبت به لینک های معمولی یک وب سایت دارند اما در مواقعی که می خواهید در سایت تان به یک منبع غیرقابل اعتماد لینک دهید، مورد استفاده قرار می گیرد. نحوه استفاده از اتریبیوت nofollow در زیر آمده است:

<a href="http://www.example.com" title="Example" rel="nofollow">Example Link</a>

 

۵- اتریبیوت canonical (rel=”canonical”):

اغلب دو یا چند کپی از محتوای یک صفحه در URL های مختلف ظاهر می شود. مانند صفحه اصلی یک وب سایت که می تواند روی آدرس های زیر فراخوانده شود:

  • http://www.example.com/
  • http://www.example.com/default.asp
  • http://example.com/
  • http://example.com/default.asp
  • http:// example.com/Default.asp

 

از منظر یک موتور جستجو، آدرس های فوق ۵ صفحه مجزا محسوب می شود و به دلیل اینکه محتوای هر ۵ صفحه عینا مانند هم هستند، مطمئنا این محتوا را بی ارزش تلقی می کند و هیچ رتبه ای برای آن در نظر نمی گیرد. Canonical این مشکل را حل کرده است و به موتور جستجو می گوید ۵ صفحه فوق یک صفحه واحد هستند و تنها یکی از آنها باید ایندکس شوند و در نتایج جستجو نمایش داده شوند.

بعنوان مثال، فرض کنید در صفحه وبی با آدرس www.example.com/default.asp اتریبیوت canonical را به شکل زیر تعریف کرده ایم:

<html>
<head>
    <title>The Best Webpage on the Internet</title>
    <link rel="canonical" href="http://www.example.com">
</head>
<body>
    <h1>Hello World</h1>
</body>
</html>

در مثال بالا، با استفاده از rel=canonical به خزنده های موتور جستجو گفتیم که این صفحه یک کپی از www.example.com می باشد و URL دوم باید بعنوان آدرس استاندارد و معتبر محسوب شود.

در مقاله بعد، ابزارهای موتور جستجو (Search Engine Tools) را معرفی می کنیم.

 


برچسب‌ها:

5- اتریبیوت canonicalاتریبیوت nofollowتگ متای رباتسایت مپفایل متنی رباتفرمت نقشه سایتنقشه سایت

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

11 + 15 =