تگ no index (نو ایندکس) چیست و چرا باید استفاده کرد؟
فکر کنید یک محتوای خوب نوشته اید ، مدیای ( تصویر ، ویدئو ، نقشه و ... ) اضاف کرده اید ، تمام نکات سئو را رعایت کرده اید و آن را در سایت خود انتشار می دهید . اما فکر میکنید این نوشته قرار نیست از طریق موتور جستجو ورودی داشته باشد . حالا باید چکار کنید ؟
این مطلب برای یک نفری که موفقیتش برات مهمه ارسال کن! . . .
اصلن برای خودت بفرست که گمش نکنی!
فهرست مطالب این مقاله
فکر کنید یک محتوای خوب نوشته اید ، مدیای ( تصویر ، ویدئو ، نقشه و … ) اضاف کرده اید ، تمام نکات سئو را رعایت کرده اید و آن را در سایت خود انتشار می دهید . اما فکر میکنید این نوشته قرار نیست از طریق موتور جستجو ورودی داشته باشد . حالا باید چکار کنید ؟ با توجه به اینکه موتور های جستجو برای شناسایی صفحات شما هزینه میکنند که به آن اصطلاحا هزینه ی خزش یا crawl budget میگویند ، شما باید تمام تلاش خود را کنید که با ترفند های خاص از هدر رفتن هزینه ی موتور های جستجو جلوگیری کنید . که فرآیند نو ایندکس ( no index ) آغاز می شود. حالا باید آن صفحه ای که قرار است در سایت شما نمایش داده شود ، ولی در موتور های جستجو نمایش داده نشود را علامت گذاری کنید . و به موتور های جستجو بگویید که این صفحه به درد شما نمیخورد !!!
تگ نو ایندکس ( no index tag ) چیست؟
خب حالا که با کار کرد کلی این تگ آشنا شدید به تعریف این تگ میپردازیم . به طور کلی به تکه کد ها در دنیای برنامه نویسی تگ ( tag ) گفته میشود . پس از این هر جا نام تگ را شنیدید بدانید که با یک تکه کد سر و کار دارید . پس قسمت اول تگ نو ایندکس ( no index tag ) یعنی یک تکه کد ، قسمت دوم همانطور که از اسمش پیداست یعنی ایندکس نشود . به طور کلی موتور های جستجو ، بعد از رسیدن به صفحات از راه های محتلف ( سایت مپ ، لینک سازی و … ) ، در مرحله ی اول هر آدرس را دیسکاور ( discover ) میکنند . در مرحله ی بعد صفحه را کرال ( crawl ) میکنند و در پایان هم صفحه را ایندکس میکنند . این تگ در قسمت دوم یا کرال موتور های جستجو ، به رباتی که به صفحه سر زده است میگوید که این آدرس را ایندکس نکن ! همچنین شما می توانید آموزش ایجاد سایت مپ را در مقاله دیگر ما بخوانید.
برای درک بیشتر فکر کنید که شما صاحب یک مجموعه هستید که دارای اتاق های زیادی است . و این مجموعه در طول روز ، بازدید کننده هایی دارد. حالا اگر شما بخواهید یکی از این اتاق ها را ، کسی نبیند ، چه کار میکنید ؟ درست است یک علامت وارد نشوید یا یک نوشته بر روی درب آن میگذارید . تگ نو ایندکس دقیقا همچین کاری برای یک آدرس انجام میدهد . البته در نظر داشته باشید این تکه کد ، فقط آدرس یا صفحات را برای موتور جستجو مسدود میکند . ولی همچنان این آدرس ها وجود دارند و نفرات به طور مستقیم میتوانند وارد آن شوند .
چگونه از ایندکس شدن صفحه جلوگیری کنیم؟
جواب این سوال به کمی توضیح احتیاج دارد . همانطور که میدانید زبان توصیف صفحات وب ، html است . و تگ نو ایندکس یک تکه کد از این زبان می باشد . شما از هر سیستم مدیریت محتوایی که استفاده کنید ( content management system ) ، باید این تگ را در صفحه ی خود بگذارید که ما در ادامه هم برای سایت های غیر وردپرسی و هم سایت های وردپرسی این مورد را شرح میدهیم . تکه کد نو ایندکس به صورت زیر است :
<meta name="robots" content="noindex">
نو ایندکس کردن صفحه در سایت های وردپرسی
خب همانطور که گفتیم ما باید تکه کد بالا را در صفحه ای که میخواهیم موتور های جستجو آن را ایندکس نکنند ، بگذاریم . حالا به هر طریقی ! راه آسان استفاده از افزونه های سئو هستند . معروف ترین افزونه های سئو یواست سئو و رنک مث ( yoast seo , rankmath ) نام دارند . این دو افزونه کارایی یکسانی دارند و نفاوت آن ها فقط در رابط کاربری میباشد . برای نو ایندکس کردن از طریق این افزونه ها ، به تب پیشرفته > از قسمت متا ربات ها > تیک نو ایندکس را بزنید . البته در نظر داشته باشید این افزونه ها ترجمه شده اند و ممکن است با عبارت هایی مثل : بستن دسترسی موتور های جستجو ، no index ، نو ایندکس ، بستن دسترسی موتور های جستجو و … روبرو شوید.
چک کردن نو اینکس بودن صفحات
برای چک کردن نو ایندکس بودن صفحات راه های زیادی وجود دارد . که ما در اینجا به چند مورد از سریع ترین روش ها ( البته راحت ترین ) اشاره میکنیم.
بررسی نو ایندکس با اینسپکت ( مرورگر )
شما در هر صفحه ای که وارد شوید ( در دنیای وب ) ، یعنی هر url را باز کنید ، میتوانید با یک راست کلیک منبع کد صفحه ( page source ) صفحه را ببینید . در همان ابتدا با تگ های متا روبرو میشوید . البته میتوانید کلید ترکیبی cntr + f را فشار دهید و noindex را سرچ کنید . اگر این جستجو نتیجه ای پیدا شد ، بررسی کنید که با تگی که در بالا نوشتیم مطابقت دارد یا خیر . اگر داشت صفحه ی شما نو ایندکس است . و میتوانید طبق همین آموزش این صفحات را ایندکس کنید .
اسکریمینگ فراگ ( screaming frog) یک نرم افزار است . این نرم افزار البته امکانات زیادی دارد که یکی از آنها بررسی صفحات نو ایندکس یک سایت است . البته شما میتوانید یک url را بدهید تا این نرم افزار بررسی کنید یا میتوانید برای چک کردن کلی سایت آدرس سایت خود را به این ابزار بدهید تا کل صفحات نو ایندکس شما را برایتان لیست کند . البته در نظر داشته باشید که اسکریمینگ فراگ را برای استفاده ی نامحدود در نسخه پرمیوم فعال کنید . ( جای نگرانی نیست نسحه ی کرک شده ی این نرم افزار در سایت پی سی دانلود موجود میباشد . برای دانلود اینجا کلیک کنید .
بررسی عدم دسترسی به موتور های جستجو ( noidex tag ) با ابزار وبسایت اودیتور
وبسایت اودیتور ( website auditor ) یکی دیگر از نرم افزار های بررسی فنی سایت است . که دقیقا مثل اسکریمینگ فراگ عمل میکند . و یکی از ضروری ترین کار ها بررسی فنی سایت هر از چند گاهی با این ابزار ها میباشد . دقیقا نحوه ی عملکرد این نرم افزار مثل اسکریمنگ فراگ میباشد . برای دانلود این نرم افزار اینجا کلیک کنید .
نحوه بررسی نوایندکس به کمک جت سئو
جت سئو یک پلتفرم داخلی ( ایرانی ) است ، که ابزار های مختلفی را در اختیار سئو کاران قرار میدهد . یکی از این ابزار ها بررسی تگ نو ایندکس سایت است. البته این پلتفرم دارای اکستنشن کروم نیز میباشد . ( اکستنشن کروم ، یک سری افزونه هستند که در مرور گر کروم نصب میشوند ) . برای نصب اکستنشن کروم جت سئو اینجا کلیک کنید . پلتفرم جت سئو در توضیح این اکستنشن نوشته است :
خب برای اینکه فرق نو فالو و نو ایندکس را متوجه شویم . باید دقت کنید که واژه ی نوفالو ( nofollow) ، تگی است که در لینک سازی استفاده میشود . همانطور که در بالا اشاره کردیم ایندکس شدن صفحات در موتور جستجوی گوگل سه مرحله دارد ، که در مرحله ی اول دیسکاور یا وضعیت موجود بودن صفحه بررسی میشود . در مرحله ی دوم ربات های موتور جستجو صفحه را کرال میکنند . در مرحله ی سوم صفحه ایندکس میشود . یعنی در موتور جستجو نمایش داده میشود . خب وقتی که ما یک لینک را نو فالو میکنیم به متور جستجو میگوییم مرحله دوم یعنی خزش یا crawl را انجام ندهد. .ولی وقتی یک صفحه را نو ایندکس میکنیم میگوییم در مرحله ی سوم ، صفحه را ایندکس نکند . یعنی موتور جستجو از هر طریقی ( سایت مپ ، لینک سازی و … ) به این صفحه رسیده باشد ، صفحه را ایندکس نکند . در صوت زیر به طور کامل این تفاوت را توضیح داده ایم.
تفاوت متا تگ robots و تگ x-robots-tag در چیست؟
متا تگ robots ، همان تکه کد نو ایندکس است که در بالا توضیح دادیم . حالا چه تفاوتی با x-robots-tag دارد؟ متا تگ روبات (robots ) مخصوص یک صفحه است . یعنی هر صفحه برای خود دارای یک متا تگ روبات است . این در حالی است که شما بخواهید یک مسیر خزش کلی برای سایت خود ایجاد کنید . البته باید توجه داشته باشید برایی برقراری x-robots-tag باید به فیل هایheader .php, .htaccess nsj دسترسی داشته باشید . البته دقت کنید این کار احتیاج به سواد برنامه نویسی دارد . اگر مهارت کافی را ندارید از متا تگ روبات استفاده کنید یا از یک برنامه نویس کمک بخواهید .
چه زمانی از متا تگ x- robots استفاده کنیم ؟
زمانی که میخواهید نحوه ی ایندکس و لیست کردن فایل های غیر html را کنترل کنید . و یا وقتی که دستوراتی دارید که میخواهید در کل سایت ( entire site ) اعمال شود .
چه صفحاتی باید نو ایندکس شوند ؟
حالا وقت آن است یک سری قواعد برای صفحات بگذاریم که کدام صفحات ایندکس شوند و کدام یک اصلا نیازی به هزینه ی موتور های جستجو برای خزش ندارند یا اصطلاحا کرال باجت را هدر ندهیم .
صفحه ی درباره ی ما و تماس با ما | نو ایندکس یا ایندکس ؟
ما در بالا اشاره کردیم که صفحاتی که ورودی از موتور جستجو ندارند ، بهتر است هزینه ی کرال سایت ما را بالا نبرند . حال سوال پیش می آید که صفحه ی درباره ی ما . تماس با ما باید ایندکس بماند ؟ جواب این سوال بله است . چرا ؟ چون یک سری از صفحات برای اعتبار سایت ما لازم و ضروری هستند . ( مخصوصا برای موتور های جستجو )
صفحات در حال ساخت
فکر کنید که در حال ساخت یک خانه هستید که بخشی از ان نیمه کاره است آیا حاضرید آن بخش را به نمایش بگذارید ؟ این صفحات در حال ساخت نیز همان قسمت هایی از سایت شما هستن که هنوز به طور کامل آماده نشده اند . پس از اینکه این صفحات به حداقل های خود رسیدند میتوانید تگ نو ایندکس را برداشته تا صفحه ایندکس شود .
نو ایندکس کردن محتوای تکراری
همانطور که گفتیم یکی از فاکتور های مهم ، کرال باجت ( crawl budget ) است . میزان هزینه ای که برای خزیدن در سایت صرف میشود . حال فکر کنید این هزینه دو بار تکرار شود و هر دو محتوا تکراری باشند . الان شما هم اگر جای گوگل بودید به خودتان امتیاز منفی می دادید . پس دقت کنید که محتوا های تکراری برا سئوی سایت شما اصلا مفید نیستند . برای مطالعه کامل این بخش میتوانید اینجا کلیک کنید. همچنین می توانید در مقاله ای جدا در رابطه با کنیبالیزیشن مطالعه کنید.
محتوای خصوصی یا انحصاری
ازین توع محتوا زیاد دیده اید . مثلا پنل کاربری در سایت های مختلف ، چرا باید ایندکس شوند ؟ یا سایت هایی که فروش فایل دارند ، صفحه ی دانلود محصول را به صورت خصوصی انتشار می دهند . یا صفحه ی دوره های خریداری شده ، در سایت هایی که فروش دوره به صورت آنلاین دارند .
صفحات تشکر یا تایید
صفحاتی که بعد از یک اتفاق در سایت شما نمایش داده میشوند و مناسبتی هستند . یعنی مثلا یک کاربر در سایت شما خریدی انجام داده است ، شما آن را به یک صفحه ی تشکر راهنمایی میکنید ، این صفحه ی تشکر دارای ارزش نمیباشد و باید نو ایندکس شود . یا صفحاتی که تایید میخواهند . مثل سایت های فروشگاهی که از افزونه ی ووکامرس استفاده میکنند . وقتی که سبد خرید را مشاهده کنید یک صفحه تایید پرداخت میبینید که این صفحه نیز باید سامان یابد و نو ایندکس شود.
چه زمانی نباید از برچسب No Index استفاده کنید؟
همانگونه که گفتیم ، نو ایندکس تگ بسیار مفیدی است . ولی استفاده ی بیش از حد از آن میتواند مشکلات جدی برای سایت شما بوجود بیاورد . در مرحله ی اول حتما هر از گاهی با ابزار هایی که در بالا ذکر کردیم سایت را مورد بررسی قرار دهید . اگر تعداد زیادی صفحات نو ایندکس دارید باید سر و سامانی به آن بدهید . هر چقدر بیشتر نسبت به تعداد صفحاتتان ، از تگ نو ایندکس استفاده کنید ، ارزش سایت شما به مرور پایین می آید و این میتواند بر روی رتبه ی سایت شما در گوگل تاثیر بگذارد .
کلام آخر
به طور کلی هر فعالیت سئویی باید با احتیاط و به صورت درست انجام شود . تگ نو ایندکس نیز از این قاعده مستثنی نیست و بهتر است از آن به اندازه و به جا استفاده شود. در مورد صفحاتی که باید نو لیندکس شوند دقت کنید که اسن صفحات حتما نیاز به نوایندکس شدن دارند و هیچ صفحه ای سهوا نو ایندکس نشود ، زیرا عواقب جبران ناپذیری برای سایت شما خواهد داشت .
کنیبالیزیشن به حالتی در سئو گفته می شود که در سایت ما با یک کلمه کلیدی دو یا چند صفحه متفاوت وجود داشته باشد. یا وقتی در جستجوی گوگل چند لینک از سایت شما نمایش داده میشود، یک مشکل سئو است که زمانی اتفاق می افتد که چندین صفحه در یک وب سایت کلمات کلیدی مشابه یا مشابهی را هدف قرار می دهند. و صفحات سایت برای رتبه بندی موتورهای جستجو با یکدیگر رقابت می کنند. این می تواند توانایی وب سایت برای رتبه بندی موثر برای کلمات کلیدی هدفمند را کاهش دهد.
زامبی پیج ها یعنی صفحاتی در سایت شما که نه تنها فایده ای ندارند بلکه میتوانند به شدت روی رتبه ی کلی سایت شما نیز تاثیر منفی بگذارند .در واقع گوگل برای رتبه دهی به هر سایت تمام صفحات آن را مورد بررسی قرار میدهد
نقشه سایت یا سایت مپ ( sitemap )، یکی از ابزارهای حیاتی در بهینه‌سازی و بهبود قابلیت دسترسی وب‌سایت‌ها به موتورهای جستجو است. این ابزار به موتورهای جستجو کمک میکند تا ساختار و محتوای وبسایت شما را به‌صورت منظم و دسته‌بندی‌شده مشاهده و تحلیل کنند.
