Google اسناد تأیید Googlebot را به روز می کند

Google اسناد مرکزی جستجوی خود را برای تأیید Googlebot به روزرسانی کرد، اسنادی را درباره بازدیدهای ربات ایجاد شده توسط کاربر اضافه کرد، اطلاعاتی که در اسناد قبلی Googlebot وجود نداشت، که برای سال ها سردرگمی ایجاد کرده است و برخی ناشران محدوده IP بازدیدهای قانونی را مسدود می کنند.

اسناد ربات به تازگی به روز شده

گوگل سند جدیدی اضافه کرد که سه نوع مختلف ربات را که ناشران باید انتظار داشته باشند دسته بندی می کند.

این سه دسته از ربات های گوگل هستند:

• Googlebot – خزنده جستجو
• خزنده های مورد خاص
• واکشی توسط کاربر (GoogleUserContent)

آخرین مورد، GoogleUserContent یکی از مواردی است که ناشران را برای مدت طولانی سردرگم کرده است، زیرا Google هیچ چیزی نداشته است. صریح مستندات در مورد آن

این چیزی است که گوگل در مورد GoogleUserContent می گوید:

«واکش کننده های تحریک شده توسط کاربر

ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند.

به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند.

از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی کننده ها قوانین robots.txt را نادیده می گیرند.

مستندات بیان می کند که ماسک DNS معکوس دامنه زیر را نشان می دهد:

“***-***-***-***.gae.googleusercontent.com”

گوگل اخیراً صفحه Google Crawlers خود را برای ایجاد یک به روز رسانی کرده است بخش مخصوصاً در مورد واکشی های راه اندازی شده توسط کاربر.

فهرست خزنده های مختلف حاوی ربات های یکسانی است، اما صفحه برای دسته بندی واکشی های ایجادشده توسط کاربر در گروه خود سازماندهی مجدد شده است.

خزنده های زیر اکنون به عنوان واکشی توسط کاربر تعیین شده اند:

"فیدفچر
Feedfetcher برای خزیدن فیدهای RSS یا Atom برای Google Podcasts، Google News و PubSubHubbub استفاده می شود.

Google Publisher Center
فیدهایی را که ناشران صراحتاً از طریق مرکز ناشر Google ارائه کرده اند واکشی می کند و پردازش می کند تا در صفحات مقصد Google News استفاده شود.

Google Read Aloud
بنا به درخواست کاربر، Google Read Aloud صفحات وب را با استفاده از تبدیل متن به گفتار (TTS) واکشی و می خواند.

Google Site Verifier
Google Site Verifier به درخواست کاربر، توکن های تأیید کنسول جستجو را واکشی می کند.»

در گذشته، چیزی که توسط برخی از جامعه سئو به من گفته شد، این بود که فعالیت ربات از آدرس های IP مرتبط با GoogleUserContent.com زمانی که کاربر یک وب سایت را از طریق یک تابع ترجمه که قبلاً در نتایج جستجو بود، مشاهده می کرد، فعال می شد. که دیگر در SERP های گوگل وجود ندارد.

نمی دانم در گذشته این درست بود یا نه.

اما موارد فوق اطلاعات جدیدی است که ما اکنون در مورد واکشی های تحریک شده توسط کاربر داریم.

به علاوه، Google اطلاعات زیر را درباره واکشی های راه اندازی شده توسط کاربر اضافه کرد:

«واکش کننده های تحریک شده توسط کاربر
واکشی های راه اندازی شده توسط کاربر توسط کاربران برای انجام یک عملکرد خاص محصول فعال می شوند. به عنوان مثال، Google Site Verifier به درخواست کاربر عمل می کند.

از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی کننده ها عموماً قوانین robots.txt را نادیده می گیرند. محدوده IP که واکشی های راه اندازی شده توسط کاربر استفاده می کنند، در شی user-triggered-fetchers.json منتشر می شوند."

اسناد جدید گوگل توضیح می دهد که فعالیت ربات از آدرس های IP مرتبط با GoogleUserContent.com می تواند توسط ابزار Google Site Verifier فعال شود.

تغییر دیگر در اسناد، ارجاع به googleusercontent.com در زمینه آدرس های IP است که به نام دامنه، GoogleUserContent.com اختصاص داده شده است.

در نهایت، گوگل خزنده Android Apps Mobile خود را بازنشسته کرد.

رمز عامل کاربر و رشته کامل هر دو عبارت بودند از: AdsBot-Google-Mobile-Apps

این هدف خزنده بازنشسته بود:

«کیفیت آگهی صفحه برنامه اندروید را بررسی می کند. از قوانین ربات AdsBot-Google پیروی می کند، اما عامل کاربر جهانی را نادیده می گیرد

در robots.txt."

اینم متن جدید:

"تأیید کنید که نام دامنه googlebot.com، google.com، یا googleusercontent.com باشد."

یکی دیگر از موارد اضافه شده، متن زیر است که از صفحه قدیمی گسترش یافته است:

از طرف دیگر، می توانید Googlebot را با آدرس IP با تطبیق آدرس IP خزنده با لیست های محدوده IP خزنده ها و واکشی های Google شناسایی کنید:

Googlebot

خزنده های ویژه مانند AdsBot

واکشی توسط کاربر

اسناد شناسایی ربات گوگل

اسناد جدید در نهایت چیزی در مورد ربات هایی دارد که از آدرس های IP مرتبط با GoogleUserContent استفاده می کنند.

بازاریابان جستجو با این آدرس های IP گیج شده بودند و تصور می کردند که آن ربات ها هرزنامه هستند.

یک بحث راهنمای Google Search Console از سال 2020 نشان می دهد که افراد چقدر در مورد فعالیت مرتبط با GoogleUserContent سردرگم شده اند.

بسیاری در آن بحث به درستی به این نتیجه رسیدند که این ربات گوگل نیست، اما سپس به اشتباه به این نتیجه رسیدند که این یک ربات جعلی است که وانمود می کند گوگل است.

کاربری ارسال کرده است:

رفتاری که من از این آدرس ها می بینم به رفتار قانونی ربات Google بسیار نزدیک است (اگر نه یکسان) و به چندین سایت ما برخورد می کند.

اگر اینطور نیست - به نظر می رسد که این نشان می دهد که فعالیت ربات مخرب گسترده ای توسط شخصی وجود دارد که سعی می کند در سایت های ما مانند گوگل ظاهر شود که نگران کننده است.

پس از چندین پاسخ، شخصی که بحث را شروع کرده است، نتیجه می گیرد که فعالیت GoogleUserContent هرزنامه بوده است.

آنها نوشتند:

«…ربات های Google مورد بحث از کاربران رسمی تقلید می کنند، اما به نظر می رسد شواهد نشان می دهد که جعلی هستند.

فعلاً آنها را مسدود خواهم کرد.»

اکنون می دانیم که فعالیت ربات از IP های مرتبط با GoogleUserContent ربات های اسپم یا هکر نیستند.

آنها واقعا از گوگل هستند. ناشرینی که در حال حاضر آدرس های IP مرتبط با GoogleUserContent را مسدود می کنند، احتمالاً باید آنها را رفع انسداد کنند. لیست فعلی ازآدرس های IP Fetcher فعال شده توسط کاربر در اینجا موجود است

.

اسناد به روز شده گوگل را بخوانید:

تأیید Googlebot و سایر خزنده های Google