خزنده های هوش مصنوعی 28 درصد از ترافیک Googlebot را تشکیل می دهند، یافته های مطالعه

گزارشی که توسط Vercel تاثیر رو به رشد ربات های هوش مصنوعی در خزیدن وب را برجسته می کند.

GPTBot OpenAI و Claude Anthropic تقریباً 1 میلیارد درخواست ماهانه در سراسر شبکه Vercel ایجاد می کنند.

داده ها نشان می دهد که GPTBot در ماه گذشته 569 میلیون درخواست داشته است، در حالی که کلود 370 میلیون درخواست داشته است.

علاوه بر این، PerplexityBot 24.4 میلیون واکشی و AppleBot 314 میلیون درخواست اضافه کرد.

این خزنده های هوش مصنوعی با هم تقریباً نشان دهنده هستند 28% از حجم کل Googlebot که 4.5 میلیارد واکشی است.

در اینجا به معنای این موضوع برای SEO است.

یافته های کلیدی در مورد خزنده های هوش مصنوعی

تجزیه و تحلیل الگوهای ترافیک در شبکه Vercel و معماری های مختلف وب را بررسی کرد. برخی از ویژگی های کلیدی خزنده های هوش مصنوعی را پیدا کرد:

• خزنده های اصلی هوش مصنوعی جاوا اسکریپت را رندر نمی کنند، اگرچه فایل های جاوا اسکریپت را می کشند.
• خزنده های هوش مصنوعی اغلب ناکارآمد هستند و ChatGPT و کلود هزینه می کنند 34% از درخواست های آنها در 404 صفحه.
• نوع محتوایی که این خزنده ها روی آن تمرکز می کنند متفاوت است. ChatGPT HTML را در اولویت قرار می دهد (57.7٪، در حالی که کلود بیشتر بر روی تصاویر تمرکز می کند (35.17٪).

توزیع جغرافیایی

برخلاف موتورهای جستجوی سنتی که از چندین منطقه کار می کنند، خزنده های هوش مصنوعی در حال حاضر حضور متمرکز ایالات متحده را حفظ می کنند:

• ChatGPT از Des Moines (آیووا) و Phoenix (آریزونا) کار می کند.
• کلود از کلمبوس (اوهایو) کار می کند

همبستگی سالنامه وب

این یافته ها با داده های به اشتراک گذاشته شده در SEO Web Almanac همخوانی دارند فصل، که به حضور رو به رشد خزنده های هوش مصنوعی نیز اشاره می کند.

بر اساس این گزارش، وب سایت ها اکنون از فایل های robots.txt برای تنظیم قوانینی برای ربات های هوش مصنوعی استفاده می کنند و به آنها می گویند که چه چیزی می توانند یا نمی توانند بخزند.

GPTBot مهمترین ربات است که در آن ظاهر می شود 2.7٪ از سایت های موبایل مورد مطالعه ربات Common Crawl که اغلب برای جمع آوری داده های آموزشی برای مدل های زبان استفاده می شود، اغلب مورد توجه قرار می گیرد.

هر دو گزارش تاکید می کنند که صاحبان وب سایت باید با نحوه رفتار خزنده های هوش مصنوعی سازگار شوند.

3 راه برای بهینه سازی برای خزنده های هوش مصنوعی

بر اساس داده های اخیر Vercel و Web Almanac، در اینجا سه \u200b\u200bراه برای بهینه سازی برای خزنده های هوش مصنوعی وجود دارد.

1. رندر سمت سرور

خزنده های هوش مصنوعی جاوا اسکریپت را اجرا نمی کنند. این بدان معناست که هر محتوایی که به رندر سمت مشتری متکی است ممکن است نامرئی باشد.

اقدامات توصیه شده:

• اجرای رندر سمت سرور برای محتوای مهم
• اطمینان حاصل کنید که محتوای اصلی، متا اطلاعات و ساختارهای ناوبری در HTML اولیه وجود دارد
• در صورت امکان از تولید سایت ایستا یا بازسازی استاتیک افزایشی استفاده کنید

2. ساختار محتوا و تحویل

داده های Vercel ترجیحات نوع محتوای متمایز را در بین خزنده های هوش مصنوعی نشان می دهد:

ChatGPT:

• محتوای HTML را در اولویت قرار می دهد (57.70%)
• 11.50 درصد از واکشی ها را صرف فایل های جاوا اسکریپت می کند

کلود:

• به شدت بر روی تصاویر تمرکز می کند (35.17%)
• 23.84 درصد واکشی ها را به فایل های جاوا اسکریپت اختصاص می دهد

توصیه های بهینه سازی:

• محتوای HTML را به طور واضح و معنایی ساختار دهید
• تحویل تصویر و ابرداده را بهینه کنید
• شامل متن جایگزین توصیفی برای تصاویر
• اجرای سلسله مراتب هدر مناسب

3. ملاحظات فنی

نرخ بالای 404 از خزنده های هوش مصنوعی به این معنی است که باید این ملاحظات فنی را در ذهن خود نگه دارید:

• نقشه های سایت را به روز نگه دارید
• زنجیره های تغییر مسیر مناسب را پیاده سازی کنید
• از الگوهای URL ثابت استفاده کنید
• ممیزی منظم خطاهای 404

نگاه کردن به جلو

برای بازاریابان جستجو، پیام واضح است: چت ربات های هوش مصنوعی نیروی جدیدی در خزیدن وب هستند و سایت ها باید SEO خود را بر این اساس تطبیق دهند.

اگرچه ربات های هوش مصنوعی ممکن است در حال حاضر به اطلاعات ذخیره شده یا تاریخ دار متکی باشند، ظرفیت آن ها برای تجزیه محتوای تازه از سراسر وب افزایش می یابد.

می توانید با رندر سمت سرور، ساختارهای URL تمیز و نقشه های سایت به روز شده، اطمینان حاصل کنید که محتوایتان خزیده شده و فهرست بندی می شود.

تصویر ویژه: tete_escape/Shutterstock