چه اتفاقی افتاد؟
در ژانویهی ۲۰۲۴ یک مشتری بریتانیایی که از چتبات دیپیدی جواب درستی دربارهی بستهاش نمیگرفت، شروع کرد به آزمودن آن. با چند درخواست ساده، چتبات شوخی کرد، ناسزا گفت، شعری در انتقاد از دیپیدی نوشت و در پاسخ به درخواست «اغراق کن» نوشت دیپیدی «بدترین شرکت پست دنیا» است. تصویر صفحهها در شبکههای اجتماعی دستبهدست شد و یکی از نوشتهها در ۲۴ ساعت حدود ۸۰۰ هزار بازدید گرفت.
دیپیدی اعلام کرد که پس از یک بهروزرسانی سیستم «خطایی» رخ داده و بخش هوش مصنوعی چتبات را فوراً غیرفعال کرد.
چرا مهم است؟
خسارت مالی مستقیم کوچک بود، اما آسیب برند سریع و عمومی بود. یک بهروزرسانی بدون آزمون کافی، کنترلهای رفتاری چتبات را از کار انداخته بود.
درسها برای سازمان شما
- قبل و بعد از هر بهروزرسانی، چتبات را با سناریوهای سوءاستفاده (آزمون نفوذ و حملهی شبیهسازیشده) آزمون کنید.
- برای خروجیهای نامناسب فیلتر و پایش لحظهای داشته باشید.
- یک «کلید خاموش» و مسیر جایگزین انسانی آماده داشته باشید.
کدام بخش از چارچوب مدیریت ریسک میتوانست جلوی آن را بگیرد؟
کارکردهای چارچوب مدیریت ریسک هوش مصنوعی مؤسسهی ملی استاندارد آمریکا (NIST) که بیشترین ارتباط را با این رخداد دارند.
- سنجش — آزمون و اندازهگیری
- مدیریت — کنترل، پایش و واکنش
تحلیل کامل در مقاله
ماجرای چتبات DPD: وقتی ربات پشتیبانی به مشتری ناسزا گفت و شرکت خودش را مسخره کرد