Skip to content

AI Incident Report

DPD: the support chatbot that swore and called the firm the "worst"

A customer got DPD's chatbot to swear and write a poem mocking the company. His post drew 800,000 views in a day and DPD disabled the AI element.

چه اتفاقی افتاد؟

در ژانویه‌ی ۲۰۲۴ یک مشتری بریتانیایی که از چت‌بات دی‌پی‌دی جواب درستی درباره‌ی بسته‌اش نمی‌گرفت، شروع کرد به آزمودن آن. با چند درخواست ساده، چت‌بات شوخی کرد، ناسزا گفت، شعری در انتقاد از دی‌پی‌دی نوشت و در پاسخ به درخواست «اغراق کن» نوشت دی‌پی‌دی «بدترین شرکت پست دنیا» است. تصویر صفحه‌ها در شبکه‌های اجتماعی دست‌به‌دست شد و یکی از نوشته‌ها در ۲۴ ساعت حدود ۸۰۰ هزار بازدید گرفت.

دی‌پی‌دی اعلام کرد که پس از یک به‌روزرسانی سیستم «خطایی» رخ داده و بخش هوش مصنوعی چت‌بات را فوراً غیرفعال کرد.

چرا مهم است؟

خسارت مالی مستقیم کوچک بود، اما آسیب برند سریع و عمومی بود. یک به‌روزرسانی بدون آزمون کافی، کنترل‌های رفتاری چت‌بات را از کار انداخته بود.

Lessons for your organization

  • قبل و بعد از هر به‌روزرسانی، چت‌بات را با سناریوهای سوءاستفاده (آزمون نفوذ و حمله‌ی شبیه‌سازی‌شده) آزمون کنید.
  • برای خروجی‌های نامناسب فیلتر و پایش لحظه‌ای داشته باشید.
  • یک «کلید خاموش» و مسیر جایگزین انسانی آماده داشته باشید.

Where NIST AI RMF would have helped

The NIST risk management functions most relevant to this incident.

  • Measure — test and assess
  • Manage — control, monitor, respond

Full analysis in the article

ماجرای چت‌بات DPD: وقتی ربات پشتیبانی به مشتری ناسزا گفت و شرکت خودش را مسخره کرد

Is your organization ready for this scenario?

Find your AI governance and risk gaps with the free assessment.

Prefer to talk on the phone? +98 21 8280 3801