Skip to content
حاکمیت AI

اصول حاکمیت هوش مصنوعی: چهار ستونی که همه‌ی استانداردهای جهانی روی آن ساخته شده‌اند

شفافیت، پاسخ‌گویی، نظارت انسانی و مدیریت ریسک؛ چهار اصل مشترک OECD، یونسکو، NIST، ISO/IEC 42001 و قانون هوش مصنوعی اروپا، با توضیح عملی هرکدام برای مدیران.

عرفان احمدیانتشار: ۱۳ مهر ۱۴۰۵بازبینی: ۸ مهر ۱۴۰۵۵ دقیقه مطالعه
۰ دیدگاه

اگر فهرست همه‌ی اصول، رهنمودها و استانداردهای هوش مصنوعی را که در دنیا منتشر شده کنار هم بگذارید، به صدها سند می‌رسید. اما اگر دقیق‌تر نگاه کنید، تقریباً همه‌شان حول چند ایده‌ی مشترک می‌چرخند. این مقاله آن هسته‌ی مشترک را در چهار ستون خلاصه می‌کند: شفافیت، پاسخ‌گویی، نظارت انسانی و مدیریت ریسک. مدیری که این چهار را بفهمد، زبان همه‌ی استانداردها را می‌فهمد.

اسناد مرجع چه می‌گویند؟

  • اصول هوش مصنوعی OECD (۲۰۱۹، به‌روزشده در ۲۰۲۴): نخستین استاندارد بین‌دولتی در این حوزه، با پنج اصل ارزشی: رشد فراگیر و رفاه؛ حقوق بشر و ارزش‌های دموکراتیک از جمله انصاف و حریم خصوصی؛ شفافیت و توضیح‌پذیری؛ استحکام، امنیت و ایمنی؛ و پاسخ‌گویی.
  • توصیه‌نامه‌ی اخلاق هوش مصنوعی یونسکو (۲۰۲۱): نخستین چارچوب جهانی اخلاق AI که به تصویب ۱۹۳ کشور عضو یونسکو رسید و اصولی مثل تناسب و پرهیز از آسیب، ایمنی و امنیت، حریم خصوصی، شفافیت و توضیح‌پذیری، مسئولیت و پاسخ‌گویی، و نظارت و تصمیم‌گیری انسانی را مطرح می‌کند.
  • رهنمودهای اخلاقی هوش مصنوعی قابل‌اعتماد اتحادیه اروپا (۲۰۱۹): هفت الزام کلیدی که پایه‌ی فکری قانون هوش مصنوعی اروپا شد: عاملیت و نظارت انسانی؛ استحکام فنی و ایمنی؛ حریم خصوصی و حاکمیت داده؛ شفافیت؛ تنوع، عدم تبعیض و انصاف؛ رفاه اجتماعی و محیط‌زیستی؛ پاسخ‌گویی.
  • NIST AI RMF: هفت ویژگی هوش مصنوعی قابل‌اعتماد (معتبر و قابل‌اتکا؛ ایمن؛ امن و مقاوم؛ پاسخ‌گو و شفاف؛ توضیح‌پذیر؛ حافظ حریم خصوصی؛ منصفانه).
  • شرکت‌ها هم همین زبان را دارند: مثلاً اصول هوش مصنوعی مسئولانه‌ی مایکروسافت شش اصل انصاف، قابلیت اطمینان و ایمنی، حریم خصوصی و امنیت، فراگیری، شفافیت و پاسخ‌گویی را تعریف کرده است.

ستون اول: شفافیت

یعنی: افراد مرتبط بدانند از هوش مصنوعی استفاده می‌شود، برای چه هدفی و با چه محدودیت‌هایی؛ و وقتی تصمیمی بر آن‌ها اثر می‌گذارد، بتوانند دلیلش را بفهمند.

در عمل:

  • به مشتری اطلاع دهید با چت‌بات صحبت می‌کند، نه انسان.
  • برای سیستم‌های مهم، مستند کنید مدل چه کاری انجام می‌دهد، با چه داده‌ای و چه محدودیت‌هایی دارد.
  • برای تصمیم‌های اثرگذار بر افراد، بتوانید دلایل اصلی را توضیح دهید.

جزئیات بیشتر در مقاله‌ی شفافیت و توضیح‌پذیری هوش مصنوعی.

ستون دوم: پاسخ‌گویی (مسئولیت‌پذیری)

یعنی: برای هر سیستم هوش مصنوعی و هر نتیجه‌اش، یک انسان یا نقش مشخص پاسخ‌گوست. «سیستم این‌طور تصمیم گرفت» هرگز پاسخ نهایی نیست.

در عمل:

  • برای کل برنامه‌ی هوش مصنوعی سازمان یک مالک ارشد و برای هر سیستم مهم یک مالک عملیاتی تعیین کنید.
  • تصمیم‌ها، ارزیابی‌ها و تغییرات را مستند کنید تا بعداً قابل پیگیری باشند.
  • قراردادها را طوری تنظیم کنید که مسئولیت‌ها بین شما و تأمین‌کننده روشن باشد.

پرونده‌هایی مثل چت‌بات ایرکانادا نشان دادند که دادگاه‌ها هم همین منطق را دارند؛ مقاله‌ی مسئولیت حقوقی هوش مصنوعی را ببینید.

ستون سوم: نظارت انسانی

یعنی: انسان بتواند عملکرد سیستم را درک کند، بر آن نظارت کند و در صورت لزوم، خروجی را نادیده بگیرد، تغییر دهد یا سیستم را متوقف کند. قانون هوش مصنوعی اروپا این اصل را در ماده‌ی ۱۴ برای سیستم‌های پرریسک به الزام قانونی تبدیل کرده است.

در عمل:

  • مشخص کنید کدام تصمیم‌ها بدون تأیید انسان اجرا نمی‌شوند.
  • ناظر انسانی باید صلاحیت، زمان، اطلاعات و اختیار مخالفت داشته باشد.
  • مراقب «سوگیری اتوماسیون» باشید: ناظری که همیشه تأیید می‌کند، ناظر نیست. (مقاله‌ی وابستگی بیش از حد به هوش مصنوعی را ببینید.)

ستون چهارم: مدیریت ریسک

یعنی: ریسک‌های هر کاربرد، متناسب با اثر احتمالی آن، شناسایی، سنجیده و کنترل شوند و این کار در کل چرخه‌ی عمر سیستم ادامه پیدا کند.

در عمل:

  • برای کاربردهای مهم، ارزیابی ریسک انجام دهید: اگر اشتباه کند چه می‌شود، برای چه کسی و چقدر محتمل است؟
  • ریسک‌ها را با مالک و اقدام کاهشی در یک ثبت ریسک نگه دارید.
  • سیستم را پس از استقرار هم پایش کنید؛ رفتار مدل‌ها با تغییر داده و شرایط عوض می‌شود.

NIST AI RMF و ISO/IEC 42001 هر دو اساساً چارچوب‌هایی برای پیاده‌سازی همین ستون‌اند.

پس انصاف، حریم خصوصی و امنیت کجا هستند؟

این‌ها هدف‌هایی هستند که چهار ستون بالا از آن‌ها محافظت می‌کنند. انصاف، حریم خصوصی، امنیت و ایمنی را نمی‌توان مستقیم «اجرا کرد»؛ باید با شفافیت دیده شوند، با پاسخ‌گویی مالک پیدا کنند، با نظارت انسانی کنترل شوند و با مدیریت ریسک سنجیده و کاهش یابند. به همین دلیل این چهار ستون، ساختار اجرایی همه‌ی آن اصول ارزشی‌اند.

یک خودآزمایی سریع برای سازمان شما

ستون سؤال بله / خیر
شفافیت آیا فهرست ابزارها و کاربردهای AI سازمان را داریم؟
پاسخ‌گویی آیا برای هر کاربرد مهم یک مالک مشخص داریم؟
نظارت انسانی آیا مشخص است کدام خروجی‌ها باید پیش از استفاده تأیید شوند؟
مدیریت ریسک آیا برای کاربردهای پرریسک، ارزیابی ریسک مکتوب داریم؟

اگر بیشتر پاسخ‌ها «خیر» است، نقطه‌ی شروع روشن است: ۵ قدم عملی برای امن‌سازی استفاده از هوش مصنوعی. برای تصویر کامل، راهنمای جامع حاکمیت هوش مصنوعی را بخوانید.

این مطلب برایتان مفید بود؟

۰ دیدگاه

این موضوع در سازمان شما چه وضعیتی دارد؟

ارزیابی رایگان آمادگی، شکاف‌ها و اولویت‌های سازمان را در ۱۰ دقیقه نشان می‌دهد.

ارزیابی رایگان سازمان

دیدگاه‌ها (۰)

هنوز دیدگاهی ثبت نشده است. اولین نفر باشید؛ سؤال‌ها و تجربه‌های شما به بهتر شدن این مطلب کمک می‌کند.

دیدگاه خود را بنویسید

منتشر نمی‌شود؛ فقط برای اطلاع از پاسخ.

دیدگاه‌ها پس از بررسی منتشر می‌شوند. لطفاً اطلاعات محرمانه سازمان را اینجا ننویسید.

مطالب مرتبط

حاکمیت AI

ممنوع کردن ChatGPT کافی نیست: چرا ممنوعیت ابزار، ریسک هوش مصنوعی را حل نمی‌کند

بسیاری از سازمان‌ها با ممنوع کردن ChatGPT خیالشان راحت می‌شود. اما هوش مصنوعی در افزونه‌ها، اپ‌ها و نرم‌افزارهای روزمره هم هست و ممنوعیت، استفاده را پنهان می‌کند. رویکرد جایگزین چیست؟

۲۸ مهر ۱۴۰۵ · ۴ دقیقه مطالعه

حاکمیت AI

آموزش هوش مصنوعی به کارکنان: قالب یک جلسه‌ی ۳۰ دقیقه‌ای که بیشترین ریسک را کم می‌کند

برنامه‌ی عملی آموزش استفاده‌ی امن از هوش مصنوعی برای کارکنان: سرفصل جلسه‌ی ۳۰ دقیقه‌ای، مثال‌های واقعی، آموزش نقش‌محور و نحوه‌ی سنجش اثر؛ همسو با ماده ۴ قانون AI اروپا و ISO/IEC 42001.

۲۷ مهر ۱۴۰۵ · ۵ دقیقه مطالعه

حاکمیت AI

مسئول حاکمیت هوش مصنوعی (AI Governance Officer / CAIO): نقشی که تا دو سال پیش وجود نداشت

مدیر یا مسئول حاکمیت هوش مصنوعی در سازمان چه می‌کند، کجای ساختار قرار می‌گیرد و چطور در یک شرکت کوچک بدون استخدام جدید تعریف می‌شود؛ با شواهد از McKinsey، استنفورد و دولت آمریکا.

۲۵ مهر ۱۴۰۵ · ۵ دقیقه مطالعه