چه اتفاقی افتاد؟
آی‌توتور گروپ معلم‌هایی را در آمریکا برای تدریس آنلاین استخدام می‌کرد. طبق شکایت کمیسیون فرصت‌های برابر شغلی آمریکا، نرم‌افزار درخواست شغل این شرکت طوری تنظیم شده بود که متقاضیان زن ۵۵ سال به بالا و مرد ۶۰ سال به بالا را خودکار رد کند. بیش از ۲۰۰ متقاضی واجد شرایط به همین دلیل کنار گذاشته شدند.
ماجرا وقتی آشکار شد که یکی از متقاضیان با تاریخ تولد واقعی‌اش درخواست داد و بلافاصله رد شد. روز بعد با همان مشخصات و تاریخ تولد جوان‌تر درخواست داد و برای مصاحبه دعوت شد. در سپتامبر ۲۰۲۳ شرکت پذیرفت ۳۶۵ هزار دلار پرداخت کند و سیاست‌ها و رویه‌های ضدتبعیض را اجرا کند. این نخستین حل‌وفصل این کمیسیون در پرونده‌ای مربوط به ابزار خودکار استخدام بود.
چرا مهم است؟
تصمیم خودکار، تبعیض را از بین نمی‌برد. فقط آن را سریع‌تر و در مقیاس بزرگ‌تر اجرا می‌کند. یک آزمون ساده (تغییر یک ویژگی و مقایسه‌ی نتیجه) مشکل را آشکار کرد. سازمان می‌توانست همین آزمون را خودش قبل از استفاده انجام دهد.
درس‌ها برای سازمان شما
- هر سیستم خودکار غربالگری رزومه را قبل از استفاده از نظر تبعیض (سن، جنسیت و …) آزمون کنید.
- معیارهای رد خودکار باید مستند، قابل توضیح و تأییدشده توسط واحد حقوقی و منابع انسانی باشد.
- برای تصمیم‌های اثرگذار بر افراد، امکان بازبینی انسانی و اعتراض فراهم کنید.
کدام بخش از چارچوب مدیریت ریسک می‌توانست جلوی آن را بگیرد؟
کارکردهای چارچوب مدیریت ریسک هوش مصنوعی مؤسسه‌ی ملی استاندارد آمریکا (NIST) که بیشترین ارتباط را با این رخداد دارند.
- حکمرانی — نقش‌ها، سیاست و پاسخ‌گویی
- شناخت — شناخت کاربرد و ریسک‌ها
- سنجش — آزمون و اندازه‌گیری