آمازون: ابزار استخدام هوشمندی که یاد گرفته بود زنان را پایین‌تر رتبه دهد

چه اتفاقی افتاد؟

رویترز در اکتبر ۲۰۱۸ گزارش داد که تیمی در آمازون از ۲۰۱۴ روی مدلی کار می‌کرد که به رزومه‌ها از یک تا پنج ستاره امتیاز بدهد. داده‌ی آموزشی، رزومه‌های ده سال گذشته بود که بیشترشان از مردان بود. نتیجه این شد که مدل یاد گرفت رزومه‌های دارای عبارت «زنان» (به انگلیسی زنان؛ مثلاً «کاپیتان باشگاه شطرنج زنان») را پایین‌تر رتبه دهد.

تیم سعی کرد مدل را نسبت به این واژه‌ها خنثی کند، ولی تضمینی نبود که مدل راه دیگری برای تبعیض پیدا نکند. آمازون در نهایت پروژه را کنار گذاشت و گفت این ابزار هرگز تنها مبنای ارزیابی متقاضیان نبوده است.

چرا مهم است؟

داده‌ی تاریخی، تصمیم‌های تاریخی را بازتولید می‌کند. اگر گذشته‌ی سازمان سوگیری داشته، مدلی که از آن یاد می‌گیرد هم سوگیری خواهد داشت، حتی اگر کسی عمداً آن را نخواسته باشد.