Skip to content

گزارش رخداد

چت‌بات شهرداری نیویورک که به کسب‌وکارها توصیه‌ی غیرقانونی می‌داد

تحقیق رسانه‌ی «مارک‌آپ» نشان داد چت‌بات رسمی «شهر من» به کارفرمایان و صاحبان ملک توصیه‌هایی می‌دهد که خلاف قانون است، از برداشتن انعام کارکنان تا تبعیض علیه مستأجران.

چه اتفاقی افتاد؟

شهر نیویورک در اکتبر ۲۰۲۳ چت‌بات «شهر من» را برای راهنمایی صاحبان کسب‌وکار راه‌اندازی کرد. در مارس ۲۰۲۴ رسانه‌ی تحقیقی «مارک‌آپ» گزارش داد که این چت‌بات بارها پاسخ‌های نادرست و حتی غیرقانونی می‌دهد. مثلاً به کارفرمایان گفته بود می‌توانند بخشی از انعام کارکنان را بردارند، و به صاحبان ملک گفته بود می‌توانند مستأجران دارای کوپن مسکن را نپذیرند. هر دو در نیویورک خلاف قانون است.

شهرداری خطاها را پذیرفت ولی چت‌بات را خاموش نکرد و به‌جای آن هشدارهایی اضافه کرد.

چرا مهم است؟

وقتی یک نهاد رسمی ابزاری را با برند خودش منتشر می‌کند، کاربران به آن به چشم منبع معتبر نگاه می‌کنند. خطای هوش مصنوعی در موضوعات حقوقی می‌تواند افراد را به نقض قانون بکشاند.

درس‌ها برای سازمان شما

  • در موضوعات حقوقی و مقرراتی، پاسخ‌ها را به متن رسمی و قابل ارجاع محدود کنید.
  • پیش از انتشار عمومی، دقت پاسخ‌ها را با مجموعه‌ای از پرسش‌های واقعی بسنجید.
  • افزودن «سلب مسئولیت» جایگزین رفع مشکل نیست.

کدام بخش از چارچوب مدیریت ریسک می‌توانست جلوی آن را بگیرد؟

کارکردهای چارچوب مدیریت ریسک هوش مصنوعی مؤسسه‌ی ملی استاندارد آمریکا (NIST) که بیشترین ارتباط را با این رخداد دارند.

  • سنجش — آزمون و اندازه‌گیری
  • مدیریت — کنترل، پایش و واکنش

تحلیل کامل در مقاله

توهم هوش مصنوعی (AI Hallucination) چیست و چرا برای تصمیمات کسب‌وکار خطرناک است؟

سازمان شما در برابر این سناریو آماده است؟

با ارزیابی رایگان، شکاف‌های حاکمیت و ریسک هوش مصنوعی را پیدا کنید.

ترجیح می‌دهید تلفنی صحبت کنید؟ ۰۲۱-۸۲۸۰۳۸۰۱