چه اتفاقی افتاد؟
شهر نیویورک در اکتبر ۲۰۲۳ چتبات «شهر من» را برای راهنمایی صاحبان کسبوکار راهاندازی کرد. در مارس ۲۰۲۴ رسانهی تحقیقی «مارکآپ» گزارش داد که این چتبات بارها پاسخهای نادرست و حتی غیرقانونی میدهد. مثلاً به کارفرمایان گفته بود میتوانند بخشی از انعام کارکنان را بردارند، و به صاحبان ملک گفته بود میتوانند مستأجران دارای کوپن مسکن را نپذیرند. هر دو در نیویورک خلاف قانون است.
شهرداری خطاها را پذیرفت ولی چتبات را خاموش نکرد و بهجای آن هشدارهایی اضافه کرد.
چرا مهم است؟
وقتی یک نهاد رسمی ابزاری را با برند خودش منتشر میکند، کاربران به آن به چشم منبع معتبر نگاه میکنند. خطای هوش مصنوعی در موضوعات حقوقی میتواند افراد را به نقض قانون بکشاند.
درسها برای سازمان شما
- در موضوعات حقوقی و مقرراتی، پاسخها را به متن رسمی و قابل ارجاع محدود کنید.
- پیش از انتشار عمومی، دقت پاسخها را با مجموعهای از پرسشهای واقعی بسنجید.
- افزودن «سلب مسئولیت» جایگزین رفع مشکل نیست.
کدام بخش از چارچوب مدیریت ریسک میتوانست جلوی آن را بگیرد؟
کارکردهای چارچوب مدیریت ریسک هوش مصنوعی مؤسسهی ملی استاندارد آمریکا (NIST) که بیشترین ارتباط را با این رخداد دارند.
- سنجش — آزمون و اندازهگیری
- مدیریت — کنترل، پایش و واکنش
تحلیل کامل در مقاله
توهم هوش مصنوعی (AI Hallucination) چیست و چرا برای تصمیمات کسبوکار خطرناک است؟