چه اتفاقی افتاد؟
آی‌توتور گروپ معلم‌هایی را در آمریکا برای تدریس آنلاین استخدام می‌کرد. طبق شکایت کمیسیون فرصت‌های برابر شغلی آمریکا، نرم‌افزار درخواست شغل این شرکت طوری تنظیم شده بود که متقاضیان زن ۵۵ سال به بالا و مرد ۶۰ سال به بالا را خودکار رد کند. بیش از ۲۰۰ متقاضی واجد شرایط به همین دلیل کنار گذاشته شدند.
ماجرا وقتی آشکار شد که یکی از متقاضیان با تاریخ تولد واقعی‌اش درخواست داد و بلافاصله رد شد. روز بعد با همان مشخصات و تاریخ تولد جوان‌تر درخواست داد و برای مصاحبه دعوت شد. در سپتامبر ۲۰۲۳ شرکت پذیرفت ۳۶۵ هزار دلار پرداخت کند و سیاست‌ها و رویه‌های ضدتبعیض را اجرا کند. این نخستین حل‌وفصل این کمیسیون در پرونده‌ای مربوط به ابزار خودکار استخدام بود.
چرا مهم است؟
تصمیم خودکار، تبعیض را از بین نمی‌برد. فقط آن را سریع‌تر و در مقیاس بزرگ‌تر اجرا می‌کند. یک آزمون ساده (تغییر یک ویژگی و مقایسه‌ی نتیجه) مشکل را آشکار کرد. سازمان می‌توانست همین آزمون را خودش قبل از استفاده انجام دهد.
Lessons for your organization
- هر سیستم خودکار غربالگری رزومه را قبل از استفاده از نظر تبعیض (سن، جنسیت و …) آزمون کنید.
- معیارهای رد خودکار باید مستند، قابل توضیح و تأییدشده توسط واحد حقوقی و منابع انسانی باشد.
- برای تصمیم‌های اثرگذار بر افراد، امکان بازبینی انسانی و اعتراض فراهم کنید.
Where NIST AI RMF would have helped
The NIST risk management functions most relevant to this incident.
- Govern — roles, policy, accountability
- Map — understand context and risks
- Measure — test and assess