توهم هوش مصنوعی (AI Hallucination) چیست و چرا برای تصمیمات کسب‌وکار خطرناک است؟

توهم هوش مصنوعی (AI Hallucination) وضعیتی است که یک مدل هوش مصنوعی — معمولاً مدل‌های زبانی مثل ChatGPT، Gemini یا Claude — پاسخی نادرست یا ساختگی تولید می‌کند، اما آن را با همان لحن مطمئن و روانی ارائه می‌دهد که پاسخ‌های درست را. مؤسسه‌ی NIST در پروفایل هوش مصنوعی مولد برای این پدیده از اصطلاح دقیق‌تر Confabulation (سرهم‌بندی) استفاده می‌کند: تولید محتوای غلط یا گمراه‌کننده‌ای که با اطمینان ارائه می‌شود.

خطر اصلی توهم، خودِ اشتباه نیست؛ انسان‌ها هم اشتباه می‌کنند. خطر این است که هیچ نشانه‌ای از اشتباه در پاسخ دیده نمی‌شود. یک منبع جعلی با نام نویسنده، سال انتشار و شماره صفحه، دقیقاً مثل یک منبع واقعی به نظر می‌رسد.

چرا هوش مصنوعی «دروغ می‌گوید»؟

مدل زبانی دروغ نمی‌گوید، چون قصدی ندارد. اما ساختار آن طوری است که توهم را اجتناب‌ناپذیر می‌کند:

1. پیش‌بینی کلمه، نه جست‌وجوی حقیقت. مدل زبانی آموزش دیده تا محتمل‌ترین ادامه‌ی یک متن را تولید کند. «محتمل» همیشه «درست» نیست.
2. پاسخ دادن به هر قیمتی. مدل‌ها معمولاً طوری تنظیم شده‌اند که مفید باشند و پاسخ بدهند؛ اعتراف به «نمی‌دانم» در رفتار پیش‌فرض آن‌ها کمتر دیده می‌شود.
3. شکاف یا کهنگی داده. وقتی درباره‌ی موضوعی نادر، محلی (مثلاً قوانین ایران) یا جدیدتر از داده‌های آموزشی سؤال می‌شود، احتمال سرهم‌بندی بالا می‌رود.
4. سؤال‌های جهت‌دار. اگر در سؤال فرضی غلط وجود داشته باشد («چرا قانون X در سال ۱۴۰۱ لغو شد؟»)، مدل اغلب آن فرض را می‌پذیرد و برایش توضیح می‌سازد.

توهم هوش مصنوعی بیشتر در چه مواقعی رخ می‌دهد؟

• درخواست منبع، مرجع، نقل‌قول یا لینک (مقاله، رأی دادگاه، کتاب)
• اعداد دقیق: آمار، تاریخ، مبالغ، درصدها
• موضوعات تخصصی یا کم‌داده: قوانین محلی، شرکت‌های کوچک، رویدادهای اخیر
• جزئیات افراد: سوابق، سمت‌ها، نقل‌قول‌ها
• پرسش‌هایی که جواب قطعی ندارند ولی مدل برایشان جواب قطعی می‌سازد

پرونده‌های واقعی: وقتی توهم هزینه ساخت

وکلایی که به رأی‌های جعلی استناد کردند

معروف‌ترین نمونه، پرونده‌ی Mata علیه Avianca در دادگاه فدرال نیویورک است. وکلای شاکی در لایحه‌ای به شش رأی قضایی استناد کردند که ChatGPT ساخته بود و هیچ‌کدام وجود خارجی نداشت. قاضی در رأی ۲۲ ژوئن ۲۰۲۳ وکلا و مؤسسه‌شان را به پرداخت ۵ هزار دلار جریمه محکوم کرد و تأکید کرد استفاده از ابزار هوش مصنوعی به‌خودی‌خود مشکل نیست؛ مشکل، ارائه‌ی خروجی بدون راستی‌آزمایی است.

این پرونده استثنا نماند. پایگاه داده‌ای که Damien Charlotin نگه‌داری می‌کند، صدها پرونده در کشورهای مختلف را ثبت کرده که در آن‌ها به محتوای ساختگی هوش مصنوعی در دادگاه استناد شده است. در ژوئن ۲۰۲۵، دادگاه عالی انگلستان در رأیی مشترک درباره‌ی دو پرونده هشدار داد که ارائه‌ی ارجاعات ساختگی می‌تواند پیامدهای انضباطی و حتی کیفری برای وکلا داشته باشد؛ در یکی از این پرونده‌ها ۱۸ مورد از ۴۵ ارجاع، ساختگی بود.

ابزارهای تخصصی هم مصون نیستند

شاید فکر کنید ابزارهای حرفه‌ای که روی داده‌ی معتبر ساخته شده‌اند مشکل ندارند. پژوهش دانشگاه استنفورد روی ابزارهای پژوهش حقوقی مبتنی بر AI نشان داد این ابزارها هم در دست‌کم یک مورد از هر شش پرسش آزمون، پاسخ نادرست یا گمراه‌کننده تولید کرده‌اند.

یک اشتباه در تبلیغ، و سقوط ارزش سهام

در فوریه ۲۰۲۳، گوگل در ویدیوی تبلیغاتی رونمایی از چت‌بات Bard پاسخی نشان داد که می‌گفت تلسکوپ جیمز وب نخستین تصویر از یک سیاره‌ی خارج از منظومه شمسی را ثبت کرده است؛ ادعایی نادرست. این خطا در همان هفته خبرساز شد و ارزش سهام شرکت مادر گوگل در روزهای بعد به‌شدت افت کرد. اگر چنین خطایی از یکی از بزرگ‌ترین شرکت‌های AI دنیا در تبلیغ خودش عبور می‌کند، در گزارش داخلی یک سازمان هم می‌تواند عبور کند.

توهم هوش مصنوعی چه آسیبی به کسب‌وکار می‌زند؟

• تصمیم مالی اشتباه: عدد ساختگی در تحلیل بازار یا خلاصه‌ی گزارش مالی
• ریسک حقوقی: استناد به قانون یا بند قراردادی که وجود ندارد یا تغییر کرده
• تعهد ناخواسته به مشتری: چت‌باتی که سیاستی را «اختراع» می‌کند (ماجرای چت‌بات ایرکانادا دقیقاً همین بود)
• آسیب به اعتبار: انتشار محتوای بازاریابی یا گزارش عمومی با اطلاعات نادرست

OWASP هم در فهرست ۱۰ ریسک اصلی برنامه‌های مبتنی بر مدل زبانی (OWASP Top 10 for LLM 2025)، «اطلاعات نادرست» (Misinformation) را یکی از ده ریسک اصلی قرار داده و اتکای بیش از حد کاربران به خروجی را بخشی از همین ریسک می‌داند.

چطور ریسک توهم را کنترل کنیم؟ ۷ اقدام عملی

1. قاعده‌ی «هیچ عدد و منبعی بدون راستی‌آزمایی»: هر آمار، تاریخ، نقل‌قول یا ارجاعی که از AI می‌آید، پیش از استفاده باید در منبع اصلی دیده شود.
2. سطح‌بندی کاربردها: برای ایده‌پردازی و پیش‌نویس، توهم ریسک کمی دارد؛ برای تصمیم مالی، حقوقی و پزشکی، بازبینی انسانی الزامی است.
3. اتصال به منبع معتبر: در سیستم‌های سازمانی، استفاده از روش‌هایی مثل RAG (بازیابی از اسناد معتبر سازمان و نمایش منبع هر پاسخ) خطا را کم می‌کند؛ هرچند صفر نمی‌کند.
4. درخواست منبع و بررسی آن: از مدل بخواهید منبع هر ادعا را بدهد و بعد خودتان لینک را باز کنید. منبعی که باز نمی‌شود، وجود ندارد.
5. اجازه‌ی «نمی‌دانم»: در دستورالعمل (پرامپت) صراحتاً بنویسید اگر مطمئن نیستی بگو نمی‌دانم.
6. محدودکردن اختیار چت‌بات‌ها: چت‌بات مشتری نباید بتواند درباره‌ی قیمت، تخفیف یا تعهد حقوقی چیزی بگوید که در منبع رسمی نیست.
7. آموزش کارکنان: همه باید بدانند لحن مطمئن AI نشانه‌ی درستی نیست. این یک جمله، بخش بزرگی از ریسک را حذف می‌کند.

پژوهشگران هم روی روش‌های خودکار تشخیص کار می‌کنند؛ مثلاً مقاله‌ای در مجله‌ی Nature نشان داد می‌توان با سنجش «ناپایداری معنایی» پاسخ‌های مکرر یک مدل، بخشی از توهم‌ها را شناسایی کرد. اما تا وقتی این روش‌ها در ابزارهای روزمره استاندارد نشده‌اند، مسئولیت راستی‌آزمایی با انسان است.

پرسش‌های متداول

آیا اطلاعات چت جی پی تی درست است؟

بیشتر اوقات برای موضوعات عمومی تقریباً درست است، اما تضمینی وجود ندارد و مدل نشان نمی‌دهد کجا اشتباه کرده است. برای هر تصمیمی که پیامد دارد، خروجی را مثل پیش‌نویس یک همکار تازه‌کار ببینید: مفید، ولی نیازمند بازبینی.

توهم هوش مصنوعی به انگلیسی چه می‌شود؟

AI Hallucination؛ در اسناد فنی NIST از واژه‌ی Confabulation هم استفاده می‌شود.

آیا مدل‌های جدیدتر توهم ندارند؟

مدل‌های جدیدتر در بسیاری از آزمون‌ها خطای کمتری دارند، اما هیچ مدلی بدون توهم نیست. به همین دلیل چارچوب‌هایی مثل NIST AI RMF به‌جای «اعتماد به مدل»، بر «کنترل فرایند» تأکید می‌کنند.