هوش مصنوعی در منابع انسانی: درس آمازون، iTutorGroup و Workday درباره‌ی الگوریتم‌های استخدام

هوش مصنوعی در منابع انسانی یکی از پرکاربردترین و در عین حال پرریسک‌ترین کاربردهای AI است. غربالگری هزاران رزومه در چند دقیقه وسوسه‌انگیز است؛ اما تصمیم‌های استخدامی مستقیماً بر زندگی افراد اثر می‌گذارند و قوانین منع تبعیض تقریباً در همه‌جای دنیا سخت‌گیرانه‌اند. این مطالعه‌ی موردی سه پرونده‌ی واقعی را مرور می‌کند که هرکدام یک درس متفاوت دارند. (برای مفاهیم پایه‌ی سوگیری، مقاله‌ی سوگیری هوش مصنوعی در استخدام را ببینید.)

پرونده‌ی اول: آمازون و مدلی که «زن بودن» را جریمه می‌کرد

ماجرا

به گزارش رویترز در اکتبر ۲۰۱۸، آمازون از ۲۰۱۴ تیمی را مأمور ساخت ابزاری کرده بود که رزومه‌ها را به‌طور خودکار از یک تا پنج ستاره امتیاز دهد. مدل با الگوهای رزومه‌هایی آموزش دید که طی ده سال به شرکت ارسال شده بود؛ رزومه‌هایی که در مشاغل فنی عمدتاً متعلق به مردان بود.

چه اتفاقی افتاد؟

تا ۲۰۱۵ مشخص شد مدل برای مشاغل فنی به‌طور جنسیتی بی‌طرف عمل نمی‌کند. به گفته‌ی منابع رویترز، مدل رزومه‌هایی را که واژه‌ی «زنان» داشتند (مثلاً «کاپیتان باشگاه شطرنج زنان») جریمه می‌کرد و به فارغ‌التحصیلان دو کالج مخصوص زنان امتیاز کمتری می‌داد. مهندسان مدل را برای خنثی کردن این واژه‌ها اصلاح کردند، اما تضمینی نبود که مدل راه‌های دیگری برای تشخیص و تبعیض پیدا نکند. آمازون در نهایت پروژه را کنار گذاشت و به گفته‌ی خودش، استخدام‌کنندگان هرگز فقط بر اساس امتیاز این ابزار تصمیم نگرفته بودند.

درس

حذف یک متغیر، سوگیری را حذف نمی‌کند. مدل از نشانه‌های غیرمستقیم همان الگو را دوباره پیدا می‌کند. همان‌طور که ACLU در تحلیلش توضیح داده، وقتی داده‌ی آموزشی خودش حاصل یک گذشته‌ی نابرابر است، مدل «موفقیت» را با «شبیه بودن به گذشته» یکی می‌گیرد.

پرونده‌ی دوم: iTutorGroup و قاعده‌ای که مستقیم در نرم‌افزار نوشته شد

ماجرا

کمیسیون فرصت‌های برابر شغلی آمریکا (EEOC) علیه iTutorGroup، شرکتی که معلمان آنلاین زبان انگلیسی استخدام می‌کرد، شکایت کرد. طبق اعلام EEOC، نرم‌افزار استخدام شرکت طوری برنامه‌ریزی شده بود که داوطلبان زن ۵۵ سال به بالا و مرد ۶۰ سال به بالا را به‌طور خودکار رد کند و بیش از ۲۰۰ داوطلب واجد شرایط به همین دلیل کنار گذاشته شده بودند. این موضوع زمانی کشف شد که یکی از داوطلبان با همان مشخصات اما تاریخ تولد جوان‌تر درخواست داد و دعوت به مصاحبه شد.

نتیجه

شرکت در ۲۰۲۳ با پرداخت ۳۶۵ هزار دلار و اجرای برنامه‌ی آموزش و سیاست‌های ضدتبعیض، پرونده را حل‌وفصل کرد.

درس

این پرونده حتی «هوش مصنوعی پیچیده» نبود؛ یک قاعده‌ی ساده‌ی خودکار بود. پیام EEOC روشن بود: خودکارسازی تبعیض، تبعیض را قانونی نمی‌کند و کارفرما مسئول ابزارهایی است که به کار می‌گیرد. در ضمن، چنین قاعده‌ای بدون یک آزمون ساده (تغییر یک مشخصه و مقایسه‌ی نتیجه) کشف نمی‌شد.

پرونده‌ی سوم: Workday و سؤال مسئولیت فروشنده

ماجرا

Derek Mobley، داوطلبی که به گفته‌ی خودش در بیش از ۱۰۰ درخواست شغلی در شرکت‌هایی که از سامانه‌ی غربالگری Workday استفاده می‌کردند رد شده بود، علیه خود Workday — نه کارفرمایان — شکایت کرد و مدعی تبعیض بر اساس سن، نژاد و معلولیت شد.

تحول مهم

در ژوئیه ۲۰۲۴، به گزارش رویترز، دادگاه فدرال کالیفرنیا درخواست Workday برای رد کامل دعوا را نپذیرفت و اجازه داد بخشی از ادعاها با این استدلال ادامه پیدا کند که فروشنده‌ی نرم‌افزار ممکن است به‌عنوان «عامل» کارفرما مسئول شناخته شود. پرونده بعدها برای ادعاهای تبعیض سنی به‌صورت جمعی ادامه یافت.

درس

مسئولیت ممکن است در طول زنجیره‌ی تأمین حرکت کند. هم کارفرمایی که ابزار را به کار می‌گیرد و هم فروشنده‌ای که آن را می‌سازد، باید بتوانند نشان دهند ابزار منصفانه کار می‌کند.

قوانین در حال سخت‌تر شدن‌اند

• شهر نیویورک: قانون محلی ۱۴۴ از ۲۰۲۳ کارفرمایان را ملزم کرده برای ابزارهای خودکار تصمیم‌گیری استخدامی، ممیزی سوگیری سالانه انجام دهند، خلاصه‌ی آن را منتشر کنند و به داوطلبان اطلاع دهند.
• اتحادیه اروپا: سیستم‌های هوش مصنوعی برای جذب، غربالگری، ارزیابی، ارتقا و خاتمه‌ی همکاری در پیوست سوم قانون هوش مصنوعی «پرریسک» محسوب می‌شوند.
• مدل‌های زبانی عمومی هم مستثنا نیستند: پژوهش دانشگاه واشنگتن نشان داد سه مدل زبانی پیشرفته در رتبه‌بندی رزومه‌های یکسان با نام‌های متفاوت، سوگیری نژادی و جنسیتی معناداری داشتند؛ یعنی مدیری که رزومه‌ها را در یک چت‌بات عمومی رتبه‌بندی می‌کند، همین ریسک را دارد.

چک‌لیست واحد منابع انسانی

1. فهرست کنید در کدام مرحله‌ی جذب (آگهی، غربالگری، ارزیابی، مصاحبه) از AI یا قاعده‌ی خودکار استفاده می‌شود.
2. رد خودکار ممنوع: هیچ داوطلبی فقط بر اساس خروجی ماشین رد نشود.
3. آزمون جفت‌رزومه: رزومه‌های یکسان با نام، جنسیت یا سن متفاوت را آزمایش کنید.
4. نرخ عبور هر گروه را بسنجید و تفاوت‌های بزرگ را بررسی کنید.
5. از فروشنده شواهد بخواهید: ممیزی سوگیری، داده‌ی آموزشی، محدودیت‌ها.
6. رزومه‌ها را در ابزار عمومی بارگذاری نکنید: هم ریسک سوگیری دارد، هم ریسک نشت داده.
7. شفاف باشید: به داوطلبان بگویید در کدام مرحله از AI استفاده می‌شود و امکان بازبینی انسانی را فراهم کنید.

جمع‌بندی

سه پرونده، سه درس: آمازون نشان داد داده‌ی گذشته آینده را شکل می‌دهد؛ iTutorGroup نشان داد خودکارسازی، مسئولیت را حذف نمی‌کند؛ و Workday نشان داد مسئولیت می‌تواند تا فروشنده هم امتداد یابد. هوش مصنوعی می‌تواند جذب را سریع‌تر و حتی منصفانه‌تر کند، به شرطی که کسی مدام بپرسد «به چه کسی آسیب می‌زند؟»