چه اتفاقی افتاد؟
شهر نیویورک در اکتبر ۲۰۲۳ چت‌بات «شهر من» را برای راهنمایی صاحبان کسب‌وکار راه‌اندازی کرد. در مارس ۲۰۲۴ رسانه‌ی تحقیقی «مارک‌آپ» گزارش داد که این چت‌بات بارها پاسخ‌های نادرست و حتی غیرقانونی می‌دهد. مثلاً به کارفرمایان گفته بود می‌توانند بخشی از انعام کارکنان را بردارند، و به صاحبان ملک گفته بود می‌توانند مستأجران دارای کوپن مسکن را نپذیرند. هر دو در نیویورک خلاف قانون است.
شهرداری خطاها را پذیرفت ولی چت‌بات را خاموش نکرد و به‌جای آن هشدارهایی اضافه کرد.
چرا مهم است؟
وقتی یک نهاد رسمی ابزاری را با برند خودش منتشر می‌کند، کاربران به آن به چشم منبع معتبر نگاه می‌کنند. خطای هوش مصنوعی در موضوعات حقوقی می‌تواند افراد را به نقض قانون بکشاند.
Lessons for your organization
- در موضوعات حقوقی و مقرراتی، پاسخ‌ها را به متن رسمی و قابل ارجاع محدود کنید.
- پیش از انتشار عمومی، دقت پاسخ‌ها را با مجموعه‌ای از پرسش‌های واقعی بسنجید.
- افزودن «سلب مسئولیت» جایگزین رفع مشکل نیست.
Where NIST AI RMF would have helped
The NIST risk management functions most relevant to this incident.
- Measure — test and assess
- Manage — control, monitor, respond
Full analysis in the article
توهم هوش مصنوعی (AI Hallucination) چیست و چرا برای تصمیمات کسب‌وکار خطرناک است؟