چگونه کنترل تعامل با Googlebot انجام دهیم؟
تیم Search Relations گوگل در آخرین پادکست «Search Off The Record» برخی از سوالها را در مورد کنترل تعاملات Googlebot با صفحات وب پاسخ دادند. موضوعات مورد بحث این بود که چگونه Googlebot را از خزیدن در بخشهای خاصی از یک صفحه منع کنیم و چگونه از دسترسی کامل Googlebot به یک سایت جلوگیری کنیم؟
آنچه که در این مطلب از رسانه مدیاتی نوشته شده است، پاسخ جان مولر و گری ایلیس از گوگل، به سوالهایی بوده است که در این خصوص پرسیده شدهاند.
مسدود کردن Googlebot از بخشهای خاص صفحه وب
مولر میگوید، در پاسخ به این سوال که چگونه میتوان Googlebot را از خزیدن بخشهای خاصی از یک صفحۀ وب، مانند بخش «also bought» در صفحۀ محصول، منع کرد، میگویم، این کار غیرممکن است. مولر گفت: “اگر بخواهم کوتاه پاسخ بدهم، شما نمیتوانید از خزیدن یک بخش خاص در یک صفحۀ HTML جلوگیری کنید.” وی در ادامه دو راهبرد بالقوه برای مقابله با این موضوع ارائه کرد که البته هیچکدام راه حل ایده آلی نیستند.
مولر استفاده از خصیصه data-nosnippet در HTML را برای جلوگیری از قرار گرفتن متن در یک قطعه جستجو پیشنهاد کرد. از طرف دیگر، میتوانید از iframe یا جاوا اسکریپتی که منبع آن توسط robots.txt مسدود شده باشد، استفاده کنید، اگرچه او هشدار داد که این ایده خوبی نیست. مولر اظهار داشت: استفاده از iframe یا فایل جاوا اسکریپت میتواند باعث ایجاد مشکلاتی در خزیدن و نمایهسازی شود که تشخیص و رفع آن در صورت مواجه با مشکل، سخت است.
جان مولر اطمینان داد که اگر محتوای مورد نظر نظیر کاروسلهای Also Bought در صفحۀ محصول، در چندین صفحه تکرار شود، مشکلی به وجود نمیآید که نیاز به اصلاح داشته باشد.
مسدود کردن Googlebot از دسترسی به وب سایت
در پاسخ به سؤالی درباره جلوگیری از دسترسی Googlebot به هر بخشی از سایت، Illyes راهحلی را ارائه کرد که به راحتی قابل پیادهسازی است.
ایلیس توضیح داد: “سادهترین راه robots.txt است: اگر یک Disallow: / برای user agent Googlebot اضافه کنید، Googlebot سایت شما را تا زمانی که این قانون را در آنجا حفظ کنید، تنها خواهد گذاشت.”
برای کسانی که به دنبال راه حل بهتری هستند، Illyes روش دیگری را پیشنهاد داد:
او گفت: “اگر میخواهید حتی دسترسی شبکه را مسدود کنید، باید قوانین فایروال را ایجاد کنید که رنج IP ما را مسدود کند.” برای دسترسی به فهرستی از آدرسهای آی پی Googlebot میتوانید به اسناد رسمی Google مراجعه کنید.
به طور خلاصه
اگرچه جلوگیری از دسترسی Googlebot به بخشهای خاصی از یک صفحه HTML غیرممکن است، روشهایی مانند استفاده از خصیصه data-nosnippet میتوانند تا حدودی در این زمینه کاربردی باشند.
هنگامی که در نظر دارید Googlebot را به طور کامل از سایت خود مسدود کنید، یک قانون غیر مجاز ساده در فایل robots.txt وجود دارد که به شما کمک میکند این کار را انجام دهید. با این حال، اقدامات شدیدتر مانند ایجاد قوانین خاص فایروال نیز در دسترس هستند.
