چه اتفاقی افتاد؟
رویترز در اکتبر ۲۰۱۸ گزارش داد که تیمی در آمازون از ۲۰۱۴ روی مدلی کار می‌کرد که به رزومه‌ها از یک تا پنج ستاره امتیاز بدهد. داده‌ی آموزشی، رزومه‌های ده سال گذشته بود که بیشترشان از مردان بود. نتیجه این شد که مدل یاد گرفت رزومه‌های دارای عبارت «زنان» (به انگلیسی زنان؛ مثلاً «کاپیتان باشگاه شطرنج زنان») را پایین‌تر رتبه دهد.
تیم سعی کرد مدل را نسبت به این واژه‌ها خنثی کند، ولی تضمینی نبود که مدل راه دیگری برای تبعیض پیدا نکند. آمازون در نهایت پروژه را کنار گذاشت و گفت این ابزار هرگز تنها مبنای ارزیابی متقاضیان نبوده است.
چرا مهم است؟
داده‌ی تاریخی، تصمیم‌های تاریخی را بازتولید می‌کند. اگر گذشته‌ی سازمان سوگیری داشته، مدلی که از آن یاد می‌گیرد هم سوگیری خواهد داشت، حتی اگر کسی عمداً آن را نخواسته باشد.
Lessons for your organization
- پیش از آموزش مدل، ترکیب و سوگیری داده‌ی تاریخی را بررسی کنید.
- حذف یک ویژگی حساس کافی نیست، چون مدل ممکن است از نشانه‌های غیرمستقیم استفاده کند.
- سیستم‌های هوش مصنوعی در استخدام را «پرریسک» طبقه‌بندی کنید و ارزیابی اثر انجام دهید.
Where NIST AI RMF would have helped
The NIST risk management functions most relevant to this incident.
- Map — understand context and risks
- Measure — test and assess
Sources
Reviewed: 6 October 2026