چه اتفاقی افتاد؟
در یک دعوای حقوقی علیه شرکت هواپیمایی آویانکا، وکلای خواهان در لایحه‌ی خود به چند رأی قضایی استناد کردند. وکلای طرف مقابل و قاضی هیچ‌کدام از آن پرونده‌ها را پیدا نکردند. معلوم شد یکی از وکلا برای تحقیق حقوقی از چت‌جی‌پی‌تی استفاده کرده و چت‌جی‌پی‌تی پرونده‌ها، نقل‌قول‌ها و حتی شماره‌ی آن‌ها را ساخته بود.
در ژوئن ۲۰۲۳ قاضی کِوین کستل دو وکیل و مؤسسه‌ی حقوقی‌شان را به پرداخت ۵٬۰۰۰ دلار جریمه محکوم کرد. همچنین آن‌ها را موظف کرد به موکل و به قضاتی که نامشان به‌عنوان نویسنده‌ی آرای جعلی آمده بود اطلاع دهند. قاضی تصریح کرد که استفاده از هوش مصنوعی به‌خودی‌خود ایرادی ندارد. مشکل این بود که وکلا وظیفه‌ی بررسی صحت را انجام ندادند و حتی پس از طرح پرسش، روی ادعای خود پافشاری کردند.
چرا مهم است؟
این پرونده به نمونه‌ی کلاسیک خطر توهم هوش مصنوعی در کارهای حرفه‌ای تبدیل شد و بعد از آن دادگاه‌های زیادی قواعدی برای اعلام استفاده از هوش مصنوعی وضع کردند.
Lessons for your organization
- مدل زبانی موتور جست‌وجو یا پایگاه داده‌ی معتبر نیست. هر ارجاعی باید در منبع اصلی پیدا شود.
- در حرفه‌های پرریسک (حقوقی، پزشکی، مالی) بازبینی انسانی را اجباری کنید.
- وقتی خطا کشف شد، شفافیت سریع آسیب را کم می‌کند و پافشاری آن را چند برابر می‌کند.
Where NIST AI RMF would have helped
The NIST risk management functions most relevant to this incident.
- Govern — roles, policy, accountability
- Measure — test and assess
Full analysis in the article
توهم هوش مصنوعی (AI Hallucination) چیست و چرا برای تصمیمات کسب‌وکار خطرناک است؟