شفافیت و توضیح‌پذیری هوش مصنوعی (XAI): اگر نتوانید تصمیم AI را توضیح دهید، چه می‌شود؟

فرض کنید درخواست وام یک مشتری توسط مدل اعتبارسنجی رد شده و او می‌پرسد: «چرا؟» اگر تنها پاسخ سازمان این باشد که «سیستم این‌طور تشخیص داد»، مشکلی جدی وجود دارد؛ هم از نظر اعتماد مشتری، هم از نظر قانون و هم از نظر خود سازمان که نمی‌داند مدلش درست کار می‌کند یا نه. این همان موضوعی است که با دو مفهوم شفافیت و توضیح‌پذیری در هوش مصنوعی شناخته می‌شود.

شفافیت در هوش مصنوعی یعنی چه؟

شفافیت (Transparency) به این معناست که اطلاعات مناسب درباره‌ی یک سیستم هوش مصنوعی در اختیار افراد مرتبط باشد: اینکه اصلاً از AI استفاده می‌شود، برای چه هدفی، با چه داده‌هایی و با چه محدودیت‌هایی. اصول هوش مصنوعی OECD از ارائه‌دهندگان می‌خواهند اطلاعات معنادار و متناسب با بافت ارائه کنند تا افراد بدانند با AI در تعامل‌اند و بتوانند نتیجه‌ای را که بر آن‌ها اثر گذاشته، به چالش بکشند.

هوش مصنوعی قابل توضیح (XAI) چیست؟

توضیح‌پذیری (Explainability) یک قدم جلوتر است: توانایی ارائه‌ی دلیل یا شواهدی که نشان دهد یک سیستم چرا به یک خروجی مشخص رسیده است. حوزه‌ی پژوهشی و فنی مربوط به آن را Explainable AI یا XAI می‌نامند.

چارچوب NIST AI RMF این دو را از هم جدا می‌کند: شفافیت به سؤال «چه اتفاقی افتاد؟» پاسخ می‌دهد، توضیح‌پذیری به «چطور تصمیم گرفته شد؟» و تفسیرپذیری (Interpretability) به «این تصمیم برای من چه معنایی دارد؟».

چهار اصل هوش مصنوعی قابل توضیح از نگاه NIST

NIST در گزارش NISTIR 8312 چهار اصل برای یک توضیح خوب پیشنهاد می‌کند:

1. توضیح (Explanation): سیستم برای خروجی‌هایش شاهد یا دلیل ارائه کند.
2. معنادار بودن (Meaningful): توضیح برای مخاطب مشخصش (مشتری، کارشناس، ممیز) قابل فهم باشد. توضیح برای یک دانشمند داده با توضیح برای یک مشتری فرق دارد.
3. دقت توضیح (Explanation Accuracy): توضیح واقعاً منعکس‌کننده‌ی فرایندی باشد که سیستم برای رسیدن به نتیجه طی کرده، نه یک داستان باورپذیر.
4. محدودیت دانش (Knowledge Limits): سیستم فقط در شرایطی عمل کند که برایش طراحی شده و وقتی به اندازه‌ی کافی مطمئن نیست، این را نشان دهد.

مشکل «جعبه‌ی سیاه»

بسیاری از مدل‌های پیشرفته، مثل شبکه‌های عصبی عمیق و مدل‌های زبانی بزرگ، «جعبه‌ی سیاه» هستند: میلیاردها پارامتر دارند و حتی سازندگانشان نمی‌توانند مسیر دقیق رسیدن به یک پاسخ را قدم‌به‌قدم توضیح دهند. این یک جزئیات فنی نیست؛ برای تصمیم‌های حساس، یک ریسک حاکمیتی است، چون:

• نمی‌توان خطا یا سوگیری را به‌موقع تشخیص داد.
• نمی‌توان به مشتری، ممیز یا دادگاه پاسخ داد.
• نمی‌توان مسئولیت را به‌درستی تخصیص داد.

قانون چه می‌گوید؟ حق توضیح

مقررات عمومی حفاظت از داده‌ی اروپا (GDPR)

ماده‌ی ۲۲ GDPR به افراد این حق را می‌دهد که مشمول تصمیمی نشوند که صرفاً بر پردازش خودکار متکی است و اثر حقوقی یا اثر مشابه قابل‌توجهی بر آن‌ها دارد، مگر در شرایط مشخص و با تضمین‌هایی مثل حق درخواست دخالت انسانی و اعتراض. دیوان دادگستری اروپا در پرونده‌ی SCHUFA (دسامبر ۲۰۲۳) تصریح کرد که حتی تولید یک امتیاز اعتباری خودکار، اگر در تصمیم بانک برای اعطای وام نقش تعیین‌کننده داشته باشد، می‌تواند مشمول همین ماده باشد.

قانون هوش مصنوعی اتحادیه اروپا

ماده‌ی ۸۶ قانون هوش مصنوعی به افرادی که مشمول تصمیم مبتنی بر خروجی یک سیستم پرریسک شده‌اند و آن تصمیم اثر حقوقی یا اثر قابل‌توجه بر سلامت، ایمنی یا حقوق اساسی آن‌ها دارد، حق دریافت توضیح روشن و معنادار درباره‌ی نقش سیستم AI در تصمیم و عناصر اصلی آن را می‌دهد.

راهکارهای عملی توضیح‌پذیری برای سازمان‌ها

1. مدل را متناسب با ریسک انتخاب کنید. برای تصمیم‌های پرپیامد (اعتبار، استخدام، قیمت بیمه)، اگر یک مدل ساده‌تر و قابل تفسیر تقریباً همان دقت را دارد، آن را به مدل جعبه‌سیاه ترجیح دهید.
2. روش‌های توضیح پسینی را به کار ببرید. ابزارهایی که سهم هر عامل در یک خروجی مشخص را برآورد می‌کنند (مثل روش‌های مبتنی بر اهمیت ویژگی‌ها) کمک می‌کنند، اما یادتان باشد این‌ها تقریب هستند و باید اعتبارسنجی شوند.
3. دلایل اصلی را برای مشتری آماده کنید. مثلاً «سابقه‌ی اعتباری کمتر از ۱۲ ماه» و «نسبت بدهی به درآمد بالا» — نه فهرستی از اعداد فنی.
4. مستندسازی کنید. برای هر سیستم مهم یک «کارت مدل» یا شناسنامه داشته باشید: هدف، داده‌ی آموزشی، معیارهای عملکرد، محدودیت‌های شناخته‌شده و شرایطی که نباید استفاده شود.
5. مسیر بازبینی انسانی و اعتراض بسازید. توضیح‌پذیری بدون امکان اعتراض ناقص است.
6. لاگ نگه دارید. بدون ثبت ورودی‌ها و خروجی‌ها، توضیح یک تصمیم در گذشته غیرممکن است.

دفتر کمیسیونر اطلاعات بریتانیا (ICO) به‌همراه مؤسسه‌ی آلن تورینگ یک راهنمای مفصل برای توضیح تصمیم‌های مبتنی بر AI منتشر کرده که انواع توضیح (دلیل، مسئولیت، داده، انصاف، ایمنی و اثر) را با مثال شرح می‌دهد و نقطه‌ی شروع خوبی برای تیم‌های حقوقی و فنی است.

جمع‌بندی

شفافیت و توضیح‌پذیری فقط الزام قانونی نیستند؛ ابزار کنترل کیفیت هم هستند. سازمانی که نمی‌تواند تصمیم مدلش را توضیح دهد، نمی‌تواند مطمئن باشد مدل درست کار می‌کند. این اصل یکی از ستون‌های مشترک همه‌ی استانداردهای حاکمیت هوش مصنوعی است که در راهنمای جامع حاکمیت هوش مصنوعی مرورشان کرده‌ایم.