آیا باید به یک آشکارساز هوش مصنوعی اعتماد کرد؟

هوش مصنوعی مولد در حال تبدیل شدن به پایه و اساس محتوای بیشتر است و بسیاری را در مورد قابلیت اطمینان آشکارساز هوش مصنوعی خود زیر سوال می برد.

در پاسخ، مطالعات متعددی در مورد اثربخشی ابزارهای تشخیص هوش مصنوعی برای تشخیص بین محتوای تولید شده توسط انسان و هوش مصنوعی انجام شده است.

ما این مطالعات را تجزیه می‌کنیم تا به شما کمک کنیم در مورد نحوه عملکرد آشکارسازهای هوش مصنوعی بیشتر بدانید، نمونه‌ای از آشکارسازهای هوش مصنوعی در حال کار را به شما نشان دهیم و به شما کمک کنیم تصمیم بگیرید که آیا می‌توانید به ابزارها – یا مطالعات اعتماد کنید.

آیا آشکارسازهای هوش مصنوعی تعصب دارند؟

محققان کشف کردند که آشکارسازهای محتوای هوش مصنوعی – آنهایی که برای تشخیص محتوای تولید شده توسط GPT هستند – ممکن است سوگیری قابل توجهی در برابر نویسندگان غیر بومی انگلیسی داشته باشند.

این مطالعه دریافتند که این آشکارسازها که برای تمایز بین هوش مصنوعی و محتوای تولید شده توسط انسان طراحی شده‌اند، به طور مداوم نمونه‌های نوشتاری انگلیسی غیربومی را به‌عنوان تولیدشده توسط هوش مصنوعی طبقه‌بندی می‌کنند و در عین حال نمونه‌های نوشتاری انگلیسی بومی را به طور دقیق شناسایی می‌کنند.

محققان با استفاده از نمونه‌های نوشتاری نویسندگان بومی و غیربومی انگلیسی دریافتند که آشکارسازها بیش از نیمی از نمونه‌های دوم را به‌عنوان تولیدشده توسط هوش مصنوعی طبقه‌بندی کرده‌اند.

جالب توجه است، این مطالعه همچنین نشان داد که راهبردهای ساده تحریک کننده، مانند “متن ارائه شده را با استفاده از زبان ادبی ارتقا دهیدمی تواند این سوگیری را کاهش دهد و به طور موثر آشکارسازهای GPT را دور بزند.

یافته‌ها نشان می‌دهد که آشکارسازهای GPT ممکن است به‌طور ناخواسته نویسندگان را با عبارات زبانی محدود جریمه کنند، که بر نیاز به تمرکز بیشتر بر عدالت و استحکام در این ابزار تأکید می‌کند.

این می تواند پیامدهای قابل توجهی داشته باشد، به ویژه در محیط های ارزشی یا آموزشی، جایی که انگلیسی زبانان غیر بومی ممکن است به طور ناخواسته مجازات شوند یا از گفتمان جهانی حذف شوند. در غیر این صورت منجر به “پیامدهای ناعادلانه و خطر تشدید سوگیری های موجود” می شود.

محققان همچنین بر نیاز به تحقیقات بیشتر برای رسیدگی به این سوگیری ها و اصلاح روش های تشخیص فعلی برای اطمینان از یک چشم انداز دیجیتالی عادلانه تر و ایمن برای همه کاربران تاکید می کنند.

آیا می توانید یک آشکارساز هوش مصنوعی را شکست دهید؟

در یک مطالعه جداگانه در متن تولید شده توسط هوش مصنوعی، محققان بهینه‌سازی نمونه درون متنی مبتنی بر جایگزینی (SICO) را مستند می‌کنند و به مدل‌های زبان بزرگ (LLM) مانند ChatGPT اجازه می‌دهد تا از تشخیص توسط آشکارسازهای متن تولید شده توسط هوش مصنوعی فرار کنند.

این مطالعه از سه کار برای شبیه‌سازی سناریوهای استفاده واقعی از LLM استفاده کرد که در آن تشخیص متن تولید شده توسط هوش مصنوعی بسیار مهم است، از جمله مقالات دانشگاهی، پرسش‌ها و پاسخ‌های باز و بررسی‌های تجاری.

همچنین شامل آزمایش SICO در برابر شش آشکارساز نماینده – از جمله مدل‌های مبتنی بر آموزش، روش‌های آماری و APIها – بود که به طور مداوم از سایر روش‌ها در تمام آشکارسازها و مجموعه‌های داده برتری داشتند.

محققان دریافتند که SICO در تمام سناریوهای استفاده آزمایش شده موثر است. در بسیاری از موارد، متن تولید شده توسط SICO اغلب از متن نوشته شده توسط انسان قابل تشخیص نبود.

با این حال، آنها همچنین سوء استفاده احتمالی از این فناوری را برجسته کردند. از آنجایی که SICO می‌تواند به جلوگیری از شناسایی متن تولید شده توسط هوش مصنوعی کمک کند، بازیگران بدخیم نیز می‌توانند از آن برای ایجاد اطلاعات گمراه‌کننده یا نادرست که به نظر می‌رسد توسط انسان نوشته شده است استفاده کنند.

هر دو مطالعه به سرعت پیشرفت هوش مصنوعی مولد نسبت به آشکارسازهای متنی هوش مصنوعی اشاره می‌کنند و مورد دوم بر نیاز به فناوری تشخیص پیچیده‌تر تأکید می‌کند.

این محققان پیشنهاد می‌کنند که ادغام SICO در مرحله آموزش آشکارسازهای هوش مصنوعی می‌تواند استحکام آن‌ها را افزایش دهد و مفهوم اصلی SICO را می‌توان در وظایف مختلف تولید متن به کار برد و راه‌های جدیدی را برای تحقیقات آینده در تولید متن و یادگیری درون متنی باز کرد.

آیا آشکارسازهای هوش مصنوعی به سمت طبقه بندی انسان گرایش دارند؟

محققین یک سوم مطالعه مطالعات قبلی در مورد قابلیت اطمینان آشکارسازهای هوش مصنوعی را گردآوری کرد و به دنبال آن داده های آنها را منتشر کرد و چندین یافته در مورد این ابزارها منتشر کرد.

• آیدین و کارارسلان (2022) فاش کردند که iThenticate، یک ابزار محبوب تشخیص سرقت ادبی، نرخ تطابق بالایی را با متن ترجمه شده با ChatGPT پیدا کرد.
• وانگ و همکاران (2023) دریافتند که تشخیص کدهای تولید شده توسط هوش مصنوعی نسبت به محتوای زبان طبیعی دشوارتر است. علاوه بر این، برخی از ابزارها سوگیری نشان دادند و به سمت شناسایی متن به عنوان تولید شده توسط هوش مصنوعی یا نوشته شده توسط انسان تمایل داشتند.
• پگورارو و همکاران (2023) دریافتند که تشخیص متن ایجاد شده توسط ChatGPT بسیار چالش برانگیز است و کارآمدترین ابزار به میزان موفقیت کمتر از 50٪ دست می یابد.
• ون اویجن (2023) نشان داد که دقت کلی ابزارها در تشخیص متن تولید شده با هوش مصنوعی تنها حدود 28 درصد است و بهترین ابزار فقط 50 درصد دقت را به دست می‌آورد. برعکس، این ابزارها (در حدود 83 درصد دقت) در تشخیص محتوای نوشته شده توسط انسان مؤثرتر بودند.
• اندرسون و همکاران (2023) مشاهده کردند که بازنویسی به طور قابل توجهی کارایی آشکارساز خروجی GPT-2 را کاهش داد.

محققان با استفاده از 14 ابزار تشخیص متن تولید شده توسط هوش مصنوعی، ده ها مورد آزمایشی را در دسته های مختلف ایجاد کردند، از جمله:

• متن نوشته شده توسط انسان
• متن ترجمه شده
• متن تولید شده توسط هوش مصنوعی
• متن تولید شده توسط هوش مصنوعی با ویرایش های انسانی.
• متن تولید شده توسط هوش مصنوعی با بازنویسی هوش مصنوعی.

این آزمون ها با استفاده از موارد زیر ارزیابی شدند:

Turnitin به عنوان دقیق ترین ابزار در همه رویکردها ظاهر شد و پس از آن Compilatio و GPT-2 Output Detector قرار گرفتند.

با این حال، اکثر ابزارهای آزمایش شده، در مقایسه با متن های ایجاد شده یا اصلاح شده توسط هوش مصنوعی، تعصب نسبت به طبقه بندی دقیق متن نوشته شده توسط انسان را نشان دادند.

در حالی که این نتیجه در زمینه های آکادمیک مطلوب است، این مطالعه و دیگران خطر اتهامات نادرست و موارد کشف نشده را برجسته کردند. موارد مثبت کاذب در اکثر ابزارها حداقل بود، به جز GPT Zero که نرخ بالایی را نشان داد.

موارد کشف نشده یک نگرانی بود، به ویژه برای متون تولید شده توسط هوش مصنوعی که تحت ویرایش انسانی یا ترجمه ماشینی قرار گرفتند. اکثر ابزارها برای شناسایی چنین محتوایی با مشکل مواجه شدند، که یک تهدید بالقوه برای یکپارچگی و انصاف تحصیلی در بین دانش آموزان بود.

ارزیابی همچنین مشکلات فنی ابزارها را نشان داد.

برخی از خطاهای سرور یا محدودیت هایی در پذیرش انواع ورودی خاص، مانند کد رایانه، داشتند. برخی دیگر با مشکلات محاسباتی مواجه شدند و بررسی نتایج در برخی ابزارها چالش برانگیز بود.

محققان پیشنهاد کردند که پرداختن به این محدودیت‌ها برای پیاده‌سازی مؤثر ابزارهای تشخیص متن تولید شده توسط هوش مصنوعی در محیط‌های آموزشی، حصول اطمینان از تشخیص دقیق تخلفات و در عین حال به حداقل رساندن اتهامات نادرست و موارد کشف‌نشده، حیاتی خواهد بود.

این مطالعات چقدر دقیق هستند؟

آیا باید بر اساس نتایج این مطالعات به ابزارهای تشخیص هوش مصنوعی اعتماد کرد؟

سوال مهمتر ممکن است این باشد که آیا باید به این مطالعات در مورد ابزارهای تشخیص هوش مصنوعی اعتماد کنید؟

من مطالعه سوم ذکر شده در بالا را به جاناتان گیلهام، بنیانگذار Originality.ai. او چند نظر بسیار دقیق و روشنگرانه داشت.

برای شروع، Originality.ai برای بخش آموزش در نظر گرفته نشده بود. سایر آشکارسازهای هوش مصنوعی آزمایش شده نیز ممکن است برای آن محیط ایجاد نشده باشند.

لازمه استفاده در دانشگاه این است که پاسخی قابل اجرا ایجاد کند. این بخشی از دلیلی است که ما به صراحت (در بالای صفحه اصلی خود) اعلام می کنیم که ابزار ما برای بازاریابی دیجیتال است و نه دانشگاه.

توانایی ارزیابی چندین مقاله ارسال شده توسط یک نویسنده (نه یک دانش آموز) و انجام یک قضاوت آگاهانه، کاربرد بسیار بهتری نسبت به تصمیم گیری های بعدی در مورد یک مقاله ارسال شده توسط یک دانش آموز است.

تعریف محتوای تولید شده توسط هوش مصنوعی ممکن است بین آنچه که مطالعه نشان می دهد و آنچه که هر ابزار تشخیص هوش مصنوعی شناسایی می کند متفاوت باشد. گیلهام موارد زیر را به عنوان اشاره به معانی مختلف هوش مصنوعی و محتوای تولید شده توسط انسان ذکر کرد.

• AI-Generated and Not Edited = متن ایجاد شده توسط AI.
• AI-Generated and Human Edited = متن ایجاد شده توسط AI.
• طرح کلی هوش مصنوعی، نوشته شده توسط انسان، و به شدت ویرایش شده با هوش مصنوعی = متن ایجاد شده توسط هوش مصنوعی.
• تحقیقات هوش مصنوعی و نوشته شده توسط انسان = اصیل ساخته شده توسط انسان.
• Human Written and Edited with Grammarly = Original Human-Generated.
• Human Written و Human Edited = اصلی ساخته شده توسط انسان.

برخی از مقوله‌ها در این مطالعه، متن ترجمه‌شده با هوش مصنوعی را آزمایش کردند و انتظار داشتند که به عنوان انسان طبقه‌بندی شود. به عنوان مثال، در صفحه 10 این مطالعه آمده است:

برای دسته دوم (موسوم به 02-MT)، حدود 10000 کاراکتر (شامل فاصله ها) به زبان های بوسنیایی، چکی، آلمانی، لتونیایی، اسلواکی، اسپانیایی و سوئدی نوشته شده است. ممکن است هیچ یک از این متون قبلاً مانند 01-Hum در معرض اینترنت قرار نگرفته باشد. بسته به زبان، از ابزار ترجمه هوش مصنوعی DeepL (3 مورد) یا Google Translate (6 مورد) برای تولید اسناد آزمون به زبان انگلیسی استفاده شده است.

در طول دوره آزمایشی دو ماهه، برخی از ابزارها پیشرفت های فوق العاده ای داشته اند. Gillham یک نمایش گرافیکی از پیشرفت‌ها را ظرف دو ماه پس از به‌روزرسانی نسخه ارائه کرد.

مسائل اضافی با تجزیه و تحلیل مطالعه که گیلهام شناسایی کرد شامل حجم نمونه کوچک (54)، پاسخ‌های طبقه‌بندی نادرست، و گنجاندن تنها دو ابزار پولی بود.

داده ها و مواد آزمایشی باید در URL موجود در انتهای مطالعه موجود باشد. درخواستی برای داده های انجام شده طی دو هفته بی پاسخ مانده است.

آنچه کارشناسان هوش مصنوعی در مورد ابزارهای تشخیص هوش مصنوعی می گفتند

من از جامعه HARO سؤال کردم تا بفهمم دیگران در مورد تجربه خود با آشکارسازهای هوش مصنوعی چه می‌گویند، که منجر به مطالعه ناخواسته خودم شد.

در یک نقطه، پنج پاسخ در دو دقیقه دریافت کردم که پاسخ های تکراری از منابع مختلف بود که مشکوک به نظر می رسید.

من تصمیم گرفتم از Originality.ai در تمام پاسخ‌های HARO که برای این درخواست دریافت کردم استفاده کنم. بر اساس تجربه شخصی و آزمایش‌های غیرعلمی من، شکست دادن این ابزار خاص دشوار به نظر می‌رسید.

Originality.ai با اطمینان 100٪ تشخیص داد که بیشتر این پاسخ ها توسط هوش مصنوعی ایجاد شده اند.

تنها پاسخ‌های HARO که عمدتاً توسط انسان تولید شده بود، مقدمه‌های یک به دو جمله‌ای به منابع بالقوه‌ای بود که ممکن است علاقه مند به مصاحبه باشم.

این نتایج تعجب آور نبود زیرا افزونه های Chrome برای ChatGPT برای نوشتن پاسخ های HARO وجود دارد.

آنچه FTC باید درباره ابزارهای تشخیص هوش مصنوعی بگوید

کمیسیون تجارت فدرال هشدار داد شرکت‌ها نسبت به اغراق‌کردن قابلیت‌های ابزارهای هوش مصنوعی برای شناسایی محتوای تولید شده، هشدار می‌دهند که ادعاهای بازاریابی نادرست می‌تواند قوانین حمایت از مصرف‌کننده را نقض کند.

همچنین به مصرف کنندگان توصیه شد که نسبت به ادعاهایی مبنی بر اینکه ابزارهای تشخیص هوش مصنوعی می توانند تمام محتوای مصنوعی را به طور قابل اعتماد شناسایی کنند، تردید داشته باشند، زیرا این فناوری دارای محدودیت هایی است.

FTC گفت ارزیابی قوی برای اثبات ادعاهای بازاریابی در مورد ابزارهای تشخیص هوش مصنوعی مورد نیاز است.

آیا از هوش مصنوعی برای نوشتن قانون اساسی استفاده شده است؟

ابزارهای تشخیص هوش مصنوعی زمانی خبرساز شدند که کاربران متوجه شدند که این احتمال وجود دارد که هوش مصنوعی قانون اساسی ایالات متحده را نوشته است.

آ پست در Ars Technica توضیح داد که چرا ابزارهای تشخیص نوشتن AI اغلب متونی مانند قانون اساسی ایالات متحده را به‌عنوان تولید شده توسط هوش مصنوعی شناسایی می‌کنند.

زبان تاریخی و رسمی اغلب نمرات پایینی به «سرگشتگی» و «شکستگی» می دهد، که آنها را به عنوان شاخص نوشتن هوش مصنوعی تفسیر می کنند.

نویسندگان انسانی می توانند از عبارات رایج و سبک های رسمی استفاده کنند که در نتیجه نمرات مشابهی به دست می آورند.

این تمرین بیشتر این نکته FTC را ثابت کرد که مصرف کنندگان باید نسبت به نمرات آشکارساز هوش مصنوعی شک داشته باشند.

نقاط قوت و محدودیت ها

یافته های مطالعات مختلف نقاط قوت و محدودیت های ابزارهای تشخیص هوش مصنوعی را برجسته می کند.

در حالی که آشکارسازهای هوش مصنوعی تا حدی دقت را در تشخیص متن تولید شده توسط هوش مصنوعی نشان داده‌اند، سوگیری‌ها، مشکلات قابلیت استفاده و آسیب‌پذیری‌هایی در مقابل تکنیک‌های فرار از خود نشان داده‌اند.

اما خود مطالعات ممکن است ناقص باشد و همه چیز را در حد حدس و گمان قرار دهد.

برای رسیدگی به سوگیری ها، افزایش استحکام و اطمینان از تشخیص دقیق در زمینه های مختلف، به بهبودهایی نیاز است.

ادامه تحقیق و توسعه برای تقویت اعتماد به آشکارسازهای هوش مصنوعی و ایجاد یک چشم‌انداز دیجیتالی عادلانه‌تر و امن‌تر بسیار مهم است.

---

تصویر ویژه: Ascannio/Shutterstock