درسی از بانک‌ها: وقتی هوش مصنوعی بدون نظارت وارد تصمیم اعتباری شد

بانک‌ها از قدیمی‌ترین استفاده‌کنندگان مدل‌های آماری و هوش مصنوعی‌اند: اعتبارسنجی، تشخیص تقلب، قیمت‌گذاری ریسک و مبارزه با پول‌شویی. به همین دلیل، بانکداری جایی است که پیامدهای «هوش مصنوعی بدون نظارت» زودتر از هر صنعت دیگری دیده شد و ناظران زودتر از هر جای دیگری برایش قاعده گذاشتند. این مطالعه‌ی موردی دو پرونده‌ی واقعی را مرور می‌کند و درس‌هایشان را برای هر سازمانی که با مدل‌ها درباره‌ی افراد تصمیم می‌گیرد، استخراج می‌کند.

پرونده‌ی اول: Apple Card و سؤالی که بانک نتوانست سریع جواب دهد

در نوامبر ۲۰۱۹، یک کارآفرین سرشناس در توییتر نوشت سقف اعتبار کارت اعتباری Apple Card او بیست برابر همسرش است، در حالی که همسرش امتیاز اعتباری بهتری دارد و دارایی‌هایشان مشترک است. کاربران دیگری — از جمله یکی از بنیان‌گذاران اپل — تجربه‌ی مشابهی گزارش کردند. کارت را بانک Goldman Sachs صادر می‌کرد و تصمیم‌ها بر اساس مدل‌های اعتبارسنجی گرفته می‌شد.

وقتی مشتریان پرسیدند «چرا؟»، پاسخ پشتیبانی در عمل این بود که «الگوریتم تصمیم گرفته است». همین پاسخ، ماجرا را از یک شکایت فردی به یک بحران رسانه‌ای و سپس به تحقیقات رسمی اداره‌ی خدمات مالی ایالت نیویورک (NYDFS) تبدیل کرد.

NYDFS در گزارش مارس ۲۰۲۱ اعلام کرد شواهدی از تبعیض عمدی یا نقض قوانین وام‌دهی منصفانه پیدا نکرده است؛ اما کاستی‌هایی در شفافیت و خدمات مشتری را برجسته کرد و تأکید کرد مشتریان حق دارند بفهمند تصمیم‌های اعتباری درباره‌شان چطور گرفته می‌شود.

درس اول: حتی وقتی مدل از نظر آماری «منصفانه» باشد، ناتوانی در توضیح تصمیم به مشتری، خودش یک ریسک جدی اعتباری، رسانه‌ای و نظارتی است.

پرونده‌ی دوم: الگوریتم مزایای هلند و هزاران خانواده‌ی آسیب‌دیده

در هلند، اداره‌ی مالیات برای شناسایی تقلب در درخواست‌های کمک‌هزینه‌ی مهدکودک از یک مدل «طبقه‌بندی ریسک» استفاده می‌کرد. به گزارش عفو بین‌الملل، نداشتن تابعیت هلندی یکی از عوامل افزایش امتیاز ریسک در این مدل بود و کارمندان پرونده‌هایی را که سیستم پرچم‌گذاری می‌کرد، بدون بررسی کافی دنبال می‌کردند. هزاران خانواده به اشتباه متهم به تقلب شدند، به بازپرداخت مبالغ هنگفت محکوم شدند و بسیاری دچار بحران مالی شدید شدند. این رسوایی در ژانویه ۲۰۲۱ به استعفای دولت هلند انجامید.

این پرونده متعلق به یک نهاد دولتی است نه یک بانک، اما سازوکارش دقیقاً همانی است که در هر مؤسسه‌ی مالی ممکن است رخ دهد: مدلی که از عوامل نامناسب استفاده می‌کند + انسان‌هایی که خروجی مدل را بدون چالش می‌پذیرند + نبود مسیر اعتراض مؤثر.

درس دوم: «انسان در حلقه» به‌تنهایی کافی نیست. اگر انسان فقط تأییدکننده‌ی خودکار خروجی ماشین باشد، نظارت واقعی وجود ندارد.

ناظران بانکی چه انتظاری دارند؟

مدیریت ریسک مدل

برای بیش از یک دهه، راهنمای SR 11-7 فدرال رزرو آمریکا مرجع جهانی «مدیریت ریسک مدل» در بانکداری بود: هر مدلی که بر تصمیم اثر می‌گذارد باید مستند شود، به‌طور مستقل اعتبارسنجی شود و در معرض «چالش مؤثر» (Effective Challenge) از سوی افراد صلاحیت‌دار و مستقل قرار گیرد. در آوریل ۲۰۲۶، فدرال رزرو، OCC و FDIC این راهنما را با راهنمای بازنگری‌شده‌ی SR 26-2 جایگزین کردند که بر رویکرد ریسک‌محور و متناسب با اندازه و پیچیدگی بانک تأکید دارد. اصل ماجرا عوض نشده است: مدلی که نمی‌فهمید، نباید تصمیم بگیرد.

حق دانستن دلیل رد درخواست

در آمریکا، قانون فرصت برابر اعتباری (ECOA) و مقررات B، وام‌دهنده را ملزم می‌کنند دلایل مشخص و اصلی رد درخواست اعتبار را به متقاضی اعلام کند. اداره‌ی حمایت مالی از مصرف‌کننده (CFPB) در بخشنامه‌ی ۲۰۲۲-۰۳ تصریح کرده بود که پیچیدگی یا غیرشفاف بودن الگوریتم، مجوزی برای ارائه نکردن دلایل مشخص نیست. این بخشنامه در مه ۲۰۲۵ در قالب بازنگری گسترده‌ی راهنماهای این نهاد پس گرفته شد، اما خود قانون و مقررات B تغییری نکرده و الزام به اعلام دلایل مشخص همچنان پابرجاست.

اروپا: امتیاز اعتباری هم «تصمیم» است

در اتحادیه اروپا، دیوان دادگستری در پرونده‌ی SCHUFA (۲۰۲۳) حکم داد که امتیاز اعتباری خودکار، اگر در تصمیم وام نقش تعیین‌کننده داشته باشد، مشمول قواعد تصمیم‌گیری خودکار GDPR است. قانون هوش مصنوعی اروپا هم ارزیابی اعتبار اشخاص را در فهرست کاربردهای پرریسک قرار داده است.

درس‌ها برای بانک‌ها و مؤسسات مالی ایرانی

1. فهرست مدل‌ها: همه‌ی مدل‌هایی که بر تصمیم اعتباری، قیمت‌گذاری یا مبارزه با تقلب اثر دارند — چه داخلی، چه خریداری‌شده — شناسنامه داشته باشند.
2. اعتبارسنجی مستقل: مدل پیش از استقرار و به‌طور دوره‌ای توسط تیمی غیر از سازنده بررسی شود؛ از جمله از نظر سوگیری علیه گروه‌های مشخص.
3. دلیل‌پذیری: برای هر رد درخواست، سامانه بتواند دلایل اصلی را به زبان قابل فهم تولید کند.
4. نظارت انسانی واقعی: کارشناس باید اختیار، زمان و اطلاعات کافی برای مخالفت با مدل داشته باشد؛ و نرخ مخالفت‌ها پایش شود. نرخ مخالفت نزدیک به صفر، نشانه‌ی نظارت نمایشی است.
5. مسیر اعتراض: مشتری بتواند درخواست بازبینی انسانی بدهد.
6. عوامل ممنوع: تابعیت، قومیت، جنسیت و متغیرهای جانشین آن‌ها (مثل برخی کدهای پستی) باید به‌طور صریح بررسی و کنترل شوند.

جمع‌بندی

در هر دو پرونده، مشکل اصلی «هوش مصنوعی» نبود؛ مشکل این بود که هیچ‌کس نمی‌توانست — یا زحمت نمی‌کشید — توضیح دهد مدل چرا تصمیمی گرفته است. هوش مصنوعی در بانکداری باید تصمیم‌ساز باشد، نه تصمیم‌گیرنده‌ی نهایی و بی‌پاسخ‌گو. برای طراحی توضیح‌پذیری، مقاله‌ی شفافیت و توضیح‌پذیری هوش مصنوعی و برای چارچوب کلی مدیریت ریسک، NIST AI RMF را ببینید.