Google اسناد تأیید Googlebot را به روز می کند

Google اسناد مرکزی جستجوی خود را برای تأیید Googlebot به‌روزرسانی کرد، اسنادی را درباره بازدیدهای ربات ایجاد شده توسط کاربر اضافه کرد، اطلاعاتی که در اسناد قبلی Googlebot وجود نداشت، که برای سال‌ها سردرگمی ایجاد کرده است و برخی ناشران محدوده IP بازدیدهای قانونی را مسدود می‌کنند.

اسناد ربات به تازگی به روز شده

گوگل سند جدیدی اضافه کرد که سه نوع مختلف ربات را که ناشران باید انتظار داشته باشند دسته بندی می کند.

این سه دسته از ربات های گوگل هستند:

• Googlebot – خزنده جستجو
• خزنده های مورد خاص
• واکشی توسط کاربر (GoogleUserContent)

آخرین مورد، GoogleUserContent یکی از مواردی است که ناشران را برای مدت طولانی سردرگم کرده است، زیرا Google هیچ چیزی نداشته است. صریح مستندات در مورد آن

این چیزی است که گوگل در مورد GoogleUserContent می گوید:

«واکش‌کننده‌های تحریک‌شده توسط کاربر

ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند.

به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند.

از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌کننده‌ها قوانین robots.txt را نادیده می‌گیرند.

مستندات بیان می کند که ماسک DNS معکوس دامنه زیر را نشان می دهد:

“***-***-***-***.gae.googleusercontent.com”

گوگل اخیراً صفحه Google Crawlers خود را برای ایجاد یک به روز رسانی کرده است بخش مخصوصاً در مورد واکشی‌های راه‌اندازی شده توسط کاربر.

فهرست خزنده‌های مختلف حاوی ربات‌های یکسانی است، اما صفحه برای دسته‌بندی واکشی‌های ایجادشده توسط کاربر در گروه خود سازماندهی مجدد شده است.

خزنده های زیر اکنون به عنوان واکشی توسط کاربر تعیین شده اند:

“فیدفچر
Feedfetcher برای خزیدن فیدهای RSS یا Atom برای Google Podcasts، Google News و PubSubHubbub استفاده می‌شود.

Google Publisher Center
فیدهایی را که ناشران صراحتاً از طریق مرکز ناشر Google ارائه کرده‌اند واکشی می‌کند و پردازش می‌کند تا در صفحات مقصد Google News استفاده شود.

Google Read Aloud
بنا به درخواست کاربر، Google Read Aloud صفحات وب را با استفاده از تبدیل متن به گفتار (TTS) واکشی و می خواند.

Google Site Verifier
Google Site Verifier به درخواست کاربر، توکن‌های تأیید کنسول جستجو را واکشی می‌کند.»

در گذشته، چیزی که توسط برخی از جامعه سئو به من گفته شد، این بود که فعالیت ربات از آدرس‌های IP مرتبط با GoogleUserContent.com زمانی که کاربر یک وب‌سایت را از طریق یک تابع ترجمه که قبلاً در نتایج جستجو بود، مشاهده می‌کرد، فعال می‌شد. که دیگر در SERP های گوگل وجود ندارد.

نمی دانم در گذشته این درست بود یا نه.

اما موارد فوق اطلاعات جدیدی است که ما اکنون در مورد واکشی‌های تحریک‌شده توسط کاربر داریم.

به‌علاوه، Google اطلاعات زیر را درباره واکشی‌های راه‌اندازی شده توسط کاربر اضافه کرد:

«واکش‌کننده‌های تحریک‌شده توسط کاربر
واکشی‌های راه‌اندازی شده توسط کاربر توسط کاربران برای انجام یک عملکرد خاص محصول فعال می‌شوند. به عنوان مثال، Google Site Verifier به درخواست کاربر عمل می کند.

از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌کننده‌ها عموماً قوانین robots.txt را نادیده می‌گیرند. محدوده IP که واکشی‌های راه‌اندازی شده توسط کاربر استفاده می‌کنند، در شی user-triggered-fetchers.json منتشر می‌شوند.”

اسناد جدید گوگل توضیح می دهد که فعالیت ربات از آدرس های IP مرتبط با GoogleUserContent.com می تواند توسط ابزار Google Site Verifier فعال شود.

تغییر دیگر در اسناد، ارجاع به googleusercontent.com در زمینه آدرس های IP است که به نام دامنه، GoogleUserContent.com اختصاص داده شده است.

در نهایت، گوگل خزنده Android Apps Mobile خود را بازنشسته کرد.

رمز عامل کاربر و رشته کامل هر دو عبارت بودند از: AdsBot-Google-Mobile-Apps

این هدف خزنده بازنشسته بود:

«کیفیت آگهی صفحه برنامه اندروید را بررسی می‌کند. از قوانین ربات AdsBot-Google پیروی می کند، اما عامل کاربر جهانی را نادیده می گیرد

در robots.txt.”

اینم متن جدید:

“تأیید کنید که نام دامنه googlebot.com، google.com، یا googleusercontent.com باشد.”

یکی دیگر از موارد اضافه شده، متن زیر است که از صفحه قدیمی گسترش یافته است:

از طرف دیگر، می‌توانید Googlebot را با آدرس IP با تطبیق آدرس IP خزنده با لیست‌های محدوده IP خزنده‌ها و واکشی‌های Google شناسایی کنید:

Googlebot

خزنده های ویژه مانند AdsBot

واکشی توسط کاربر

اسناد شناسایی ربات گوگل

اسناد جدید در نهایت چیزی در مورد ربات هایی دارد که از آدرس های IP مرتبط با GoogleUserContent استفاده می کنند.

بازاریابان جستجو با این آدرس‌های IP گیج شده بودند و تصور می‌کردند که آن ربات‌ها هرزنامه هستند.

یک بحث راهنمای Google Search Console از سال 2020 نشان می‌دهد که افراد چقدر در مورد فعالیت مرتبط با GoogleUserContent سردرگم شده‌اند.

بسیاری در آن بحث به درستی به این نتیجه رسیدند که این ربات گوگل نیست، اما سپس به اشتباه به این نتیجه رسیدند که این یک ربات جعلی است که وانمود می کند گوگل است.

کاربری ارسال کرده است:

رفتاری که من از این آدرس ها می بینم به رفتار قانونی ربات Google بسیار نزدیک است (اگر نه یکسان) و به چندین سایت ما برخورد می کند.

اگر اینطور نیست – به نظر می رسد که این نشان می دهد که فعالیت ربات مخرب گسترده ای توسط شخصی وجود دارد که سعی می کند در سایت های ما مانند گوگل ظاهر شود که نگران کننده است.

پس از چندین پاسخ، شخصی که بحث را شروع کرده است، نتیجه می گیرد که فعالیت GoogleUserContent هرزنامه بوده است.

آنها نوشتند:

«…ربات‌های Google مورد بحث از کاربران رسمی تقلید می‌کنند، اما به نظر می‌رسد شواهد نشان می‌دهد که جعلی هستند.

فعلاً آنها را مسدود خواهم کرد.»

اکنون می دانیم که فعالیت ربات از IP های مرتبط با GoogleUserContent ربات های اسپم یا هکر نیستند.

آنها واقعا از گوگل هستند. ناشرینی که در حال حاضر آدرس‌های IP مرتبط با GoogleUserContent را مسدود می‌کنند، احتمالاً باید آنها را رفع انسداد کنند. لیست فعلی ازآدرس‌های IP Fetcher فعال شده توسط کاربر در اینجا موجود است

.

اسناد به روز شده گوگل را بخوانید:

تأیید Googlebot و سایر خزنده‌های Google