Skip to content
NIST AI RMF

NIST AI RMF چیست؟ راهنمای کامل چارچوب مدیریت ریسک هوش مصنوعی برای مدیران

چارچوب مدیریت ریسک هوش مصنوعی NIST (AI RMF 1.0) به زبان ساده: چهار کارکرد Govern، Map، Measure و Manage، پروفایل هوش مصنوعی مولد و نحوه استفاده عملی در سازمان.

عرفان احمدیانتشار: ۸ مهر ۱۴۰۵بازبینی: ۸ مهر ۱۴۰۵۶ دقیقه مطالعه
۰ دیدگاه

NIST AI RMF (مخفف Artificial Intelligence Risk Management Framework) چارچوبی داوطلبانه است که مؤسسه ملی استانداردها و فناوری آمریکا (NIST) در ۲۶ ژانویه ۲۰۲۳ منتشر کرد تا سازمان‌ها بتوانند ریسک‌های هوش مصنوعی را در کل چرخه عمر یک سیستم — از طراحی و خرید تا استفاده و کنار گذاشتن — شناسایی، سنجش و مدیریت کنند. این چارچوب قانون نیست و گواهی‌نامه هم ندارد؛ اما امروز یکی از دو زبان مشترک دنیا (در کنار ISO/IEC 42001) برای صحبت درباره‌ی ریسک هوش مصنوعی است.

یک سناریوی آشنا: چرا چنین چارچوبی لازم است؟

همین حالا ممکن است یکی از کارکنان شما گزارش مالی محرمانه‌ای را در یک ابزار هوش مصنوعی عمومی کپی کند تا خلاصه‌اش را بگیرد. طبق گزارش Work Trend Index مایکروسافت، ۷۵٪ کارکنان دانشی از هوش مصنوعی مولد در کار استفاده می‌کنند و ۷۸٪ همین کاربران، ابزار خودشان را به محل کار آورده‌اند (پدیده‌ای که به آن BYOAI یا Shadow AI می‌گویند). مشکل، خود ابزار نیست؛ مشکل این است که سازمان نمی‌داند چه چیزی، کجا و با چه ریسکی در جریان است. NIST AI RMF دقیقاً برای بستن همین فاصله طراحی شده است: تبدیل استفاده‌ی پراکنده به استفاده‌ی آگاهانه و مدیریت‌شده.

ساختار NIST AI RMF: دو بخش اصلی

سند اصلی (NIST AI 100-1) دو بخش دارد:

  • بخش اول: مبانی. توضیح می‌دهد ریسک هوش مصنوعی چه تفاوتی با ریسک نرم‌افزار سنتی دارد (مثلاً وابستگی به داده، تغییر رفتار مدل در طول زمان، دشواری توضیح نتایج) و هوش مصنوعی «قابل‌اعتماد» چه ویژگی‌هایی دارد.
  • بخش دوم: هسته (Core). چهار کارکرد اصلی که سازمان‌ها با آن‌ها ریسک را مدیریت می‌کنند.

هفت ویژگی هوش مصنوعی قابل‌اعتماد از نگاه NIST

  1. معتبر و قابل‌اتکا (Valid and Reliable)
  2. ایمن (Safe)
  3. امن و مقاوم (Secure and Resilient)
  4. پاسخ‌گو و شفاف (Accountable and Transparent)
  5. توضیح‌پذیر و قابل‌تفسیر (Explainable and Interpretable)
  6. حافظ حریم خصوصی (Privacy-Enhanced)
  7. منصفانه، با سوگیری مضر مدیریت‌شده (Fair – with Harmful Bias Managed)

NIST تأکید می‌کند این ویژگی‌ها گاهی با هم تعارض دارند؛ مثلاً افزایش دقت ممکن است توضیح‌پذیری را کم کند. کار مدیریت ریسک، پیدا کردن تعادل آگاهانه بین آن‌هاست.

چهار کارکرد اصلی: Govern، Map، Measure، Manage

Govern (حاکمیت) — کارکرد مشترک همه

Govern پایه‌ی بقیه است و در کل سازمان جریان دارد: فرهنگ مدیریت ریسک، سیاست‌ها، نقش‌ها و مسئولیت‌ها، آموزش، و فرایندهای مربوط به تأمین‌کنندگان. نمونه‌ی سؤال‌های این بخش: آیا سیاست استفاده از AI داریم؟ چه کسی تصمیم نهایی را درباره‌ی استقرار یک سیستم می‌گیرد؟ کارکنان آموزش دیده‌اند؟

Map (شناخت بافت)

پیش از هر چیز باید بدانیم هر سیستم AI در چه بافتی استفاده می‌شود: هدفش چیست، چه کسانی از نتیجه‌اش اثر می‌پذیرند، به چه داده‌ای متکی است و اگر خطا کند چه پیامدی دارد. خروجی Map، فهرستی از ریسک‌های شناسایی‌شده برای هر کاربرد است.

Measure (سنجش)

ریسک‌های شناسایی‌شده با روش‌های کمی و کیفی سنجیده می‌شوند: آزمون دقت، ارزیابی سوگیری، آزمون امنیتی، پایش عملکرد پس از استقرار. نکته‌ی مهم NIST: هر چیزی که قابل سنجش نیست باید حداقل مستند شود تا تصمیم‌گیرندگان از عدم‌قطعیت آن خبر داشته باشند.

Manage (مدیریت و برخورد)

ریسک‌ها اولویت‌بندی می‌شوند و برای هرکدام تصمیم گرفته می‌شود: کاهش، انتقال، پذیرش یا کنار گذاشتن سیستم. برنامه‌ی واکنش به رخداد و پایش مستمر هم در این کارکرد قرار می‌گیرد.

هر کارکرد به «دسته‌ها» و «زیردسته‌ها»ی مشخص تقسیم شده است. راهنمای عملی (Playbook) که NIST همراه چارچوب منتشر کرده، برای هر زیردسته اقدامات پیشنهادی و مستندات لازم را فهرست می‌کند و نقطه‌ی شروع بسیار خوبی برای تیم‌هایی است که نمی‌دانند از کجا شروع کنند.

پروفایل هوش مصنوعی مولد (NIST AI 600-1)

در ژوئیه ۲۰۲۴، NIST سندی مکمل با عنوان Generative AI Profile منتشر کرد که ۱۲ ریسک خاص یا تشدیدشده توسط هوش مصنوعی مولد را برمی‌شمارد؛ از جمله:

  • Confabulation (همان توهم هوش مصنوعی: تولید محتوای غلط با لحن مطمئن)
  • حریم خصوصی داده (نشت یا استنتاج اطلاعات شخصی)
  • امنیت اطلاعات (مثل Prompt Injection و تسهیل حملات سایبری)
  • مالکیت فکری (تولید محتوای مشابه آثار دارای حق نشر)
  • یکپارچگی اطلاعات (تولید اطلاعات نادرست در مقیاس بالا)
  • پیکربندی انسان و هوش مصنوعی (اتکای بیش از حد یا اعتماد نابجا به خروجی)
  • زنجیره‌ی ارزش و اجزای ثالث (ریسک مدل‌ها و داده‌های تأمین‌کنندگان)

برای سازمانی که بیشتر از چت‌بات‌ها و ابزارهای مولد استفاده می‌کند، این پروفایل کاربردی‌ترین بخش NIST است.

NIST AI RMF در عمل: یک مثال ساده

فرض کنید واحد پشتیبانی می‌خواهد یک چت‌بات هوش مصنوعی برای پاسخ به مشتریان راه بیندازد:

  • Govern: مالک چت‌بات (مدیر پشتیبانی) و تأییدکننده‌ی نهایی (کمیته یا مدیرعامل) مشخص می‌شود؛ سیاست می‌گوید چت‌بات حق تعهد مالی ندارد.
  • Map: ریسک‌ها فهرست می‌شوند: پاسخ غلط درباره‌ی قیمت یا بازپرداخت، افشای اطلاعات مشتری، سوءاستفاده‌ی کاربران برای گرفتن پاسخ نامناسب.
  • Measure: پیش از انتشار، ۲۰۰ سؤال واقعی و ۵۰ سؤال مخرب آزمون می‌شود و نرخ پاسخ غلط اندازه‌گیری می‌شود.
  • Manage: برای موضوعات مالی، چت‌بات به اپراتور انسانی ارجاع می‌دهد؛ گزارش ماهانه‌ی خطاها به مدیریت می‌رود.

این دقیقاً همان کاری است که اگر انجام می‌شد، پرونده‌ی معروف چت‌بات ایرکانادا هیچ‌وقت به دادگاه نمی‌رسید.

NIST AI RMF یا ISO/IEC 42001؟

این دو رقیب نیستند. NIST AI RMF چگونگی مدیریت ریسک را با جزئیات عملی توضیح می‌دهد و انعطاف زیادی دارد؛ ISO/IEC 42001 یک سیستم مدیریت رسمی تعریف می‌کند که قابل ممیزی و گواهی است. NIST خودش جدول‌های تطبیق (Crosswalk) بین AI RMF و استانداردهای دیگر، از جمله ISO/IEC 42001، منتشر کرده است. بسیاری از سازمان‌ها از NIST برای کار عملی روزمره و از ISO 42001 برای ساختار رسمی و اثبات به مشتری استفاده می‌کنند. مقایسه‌ی کامل را در مقاله‌ی تفاوت ISO/IEC 42001 و NIST AI RMF آورده‌ایم.

آیا NIST AI RMF برای شرکت‌های ایرانی کاربرد دارد؟

بله. این چارچوب رایگان، داوطلبانه و مستقل از اندازه و صنعت است و هیچ الزامی به آمریکایی بودن سازمان ندارد. خود NIST تأکید می‌کند چارچوب برای «سازمان‌ها در هر اندازه و هر بخش» طراحی شده است. برای یک شرکت ایرانی، مزیت اصلی NIST این است که بدون هزینه‌ی گواهی، یک زبان مشترک و ساختار روشن برای گفت‌وگوی داخلی درباره‌ی ریسک AI فراهم می‌کند.

جمع‌بندی: سه قدم برای شروع با NIST AI RMF

  1. فهرست کنید: همه‌ی ابزارها و کاربردهای هوش مصنوعی سازمان را (کارکرد Map).
  2. مسئول تعیین کنید: برای هر کاربرد مهم یک مالک و برای کل برنامه یک پاسخ‌گو (کارکرد Govern).
  3. از پرریسک‌ترین شروع کنید: دو یا سه کاربردی که بیشترین اثر را بر مشتری یا تصمیم مالی دارند، اول بسنجید و کنترل کنید (Measure و Manage).

خلاصه‌ی ساختاریافته‌ی چهار کارکرد را در صفحه‌ی چارچوب NIST AI RMF هم می‌توانید ببینید.

این مطلب برایتان مفید بود؟

۰ دیدگاه

این موضوع در سازمان شما چه وضعیتی دارد؟

ارزیابی رایگان آمادگی، شکاف‌ها و اولویت‌های سازمان را در ۱۰ دقیقه نشان می‌دهد.

ارزیابی رایگان سازمان

دیدگاه‌ها (۰)

هنوز دیدگاهی ثبت نشده است. اولین نفر باشید؛ سؤال‌ها و تجربه‌های شما به بهتر شدن این مطلب کمک می‌کند.

دیدگاه خود را بنویسید

منتشر نمی‌شود؛ فقط برای اطلاع از پاسخ.

دیدگاه‌ها پس از بررسی منتشر می‌شوند. لطفاً اطلاعات محرمانه سازمان را اینجا ننویسید.