ریسک‌های امنیت سایبری هوش مصنوعی: مسموم‌سازی داده، مدل‌های آلوده و حمله به زنجیره‌ی تأمین AI

امنیت سایبری کلاسیک درباره‌ی محافظت از سرورها، شبکه‌ها و رمزهای عبور بود. هوش مصنوعی یک سطح حمله‌ی کاملاً جدید اضافه کرده است: خودِ داده‌ای که مدل از آن یاد می‌گیرد، خودِ مدل و ورودی‌هایی که مدل می‌خواند. مهاجم دیگر لزوماً نیازی به نفوذ به سرور شما ندارد؛ کافی است رفتار مدلی را که به آن اعتماد کرده‌اید، تغییر دهد.

مؤسسه‌ی NIST در طبقه‌بندی رسمی حملات به یادگیری ماشین (ویرایش ۲۰۲۵) صراحتاً هشدار می‌دهد که در حال حاضر هیچ روش دفاعی کاملاً مطمئنی در برابر این حملات وجود ندارد و سازمان‌ها نباید ادعای خلاف آن را از فروشندگان بپذیرند (اطلاعیه‌ی NIST).

چهار دسته‌ی اصلی حمله به هوش مصنوعی

NIST حملات به سیستم‌های هوش مصنوعی را در چند دسته‌ی کلی قرار می‌دهد:

۱. مسموم‌سازی (Poisoning)

مهاجم داده‌ی آموزشی را دستکاری می‌کند تا مدل رفتاری نادرست یاد بگیرد؛ یا به‌طور کلی عملکرد را خراب می‌کند، یا یک «در پشتی» (Backdoor) می‌سازد: مدل در حالت عادی درست کار می‌کند، اما با دیدن یک نشانه‌ی خاص، رفتاری که مهاجم می‌خواهد نشان می‌دهد.

اینکه این حمله چقدر عملی است، شاید غافلگیرکننده باشد:

• پژوهش Carlini و همکاران در ۲۰۲۳ نشان داد با خرید دامنه‌های منقضی‌شده‌ای که در مجموعه‌داده‌های بزرگ اینترنتی ارجاع داده شده‌اند، می‌توان با هزینه‌ای در حد ده‌ها دلار بخشی از داده‌ی آموزشی مدل‌های بزرگ را کنترل کرد.
• پژوهشی که Anthropic با همکاری مؤسسه‌ی امنیت هوش مصنوعی بریتانیا و مؤسسه‌ی آلن تورینگ در اکتبر ۲۰۲۵ منتشر کرد نشان داد تنها حدود ۲۵۰ سند مخرب برای ایجاد یک در پشتی ساده در مدل‌های زبانی با اندازه‌های مختلف کافی بود؛ یعنی تعداد اسناد لازم با بزرگ‌تر شدن مدل و داده، به همان نسبت بیشتر نمی‌شد.

۲. فریب در زمان استفاده (Evasion)

ورودی طوری دستکاری می‌شود که مدل تصمیم اشتباه بگیرد؛ مثلاً تغییرات کوچک و نامحسوس در یک تصویر یا سند که سیستم تشخیص تقلب یا فیلتر محتوا را دور می‌زند.

۳. حملات حریم خصوصی (Privacy Attacks)

مهاجم با پرس‌وجوهای هدفمند تلاش می‌کند اطلاعات داده‌ی آموزشی را استخراج کند، بفهمد داده‌ی یک فرد خاص در آموزش بوده یا نه، یا خود مدل را کپی کند. گزارش IBM ۲۰۲۶ میانگین هزینه‌ی یک رخداد از نوع «وارونه‌سازی مدل» (Model Inversion) را حدود ۶ میلیون دلار برآورد کرده؛ بالاتر از میانگین کل نشت‌ها.

۴. سوءاستفاده و دستکاری ورودی در هوش مصنوعی مولد

برای مدل‌های زبانی، Prompt Injection و دور زدن محدودیت‌ها (Jailbreak) مهم‌ترین نمونه‌هاست.

زنجیره‌ی تأمین هوش مصنوعی: نقطه‌ی کور بیشتر سازمان‌ها

بیشتر سازمان‌ها مدل را از صفر نمی‌سازند؛ مدل‌های ازپیش‌آموزش‌دیده، کتابخانه‌ها و مجموعه‌داده‌ها را از منابع عمومی دریافت می‌کنند. OWASP در فهرست ریسک‌های LLM «زنجیره‌ی تأمین» و «مسموم‌سازی داده و مدل» را دو ریسک جداگانه‌ی اصلی می‌داند.

• مدل‌های آلوده در مخازن عمومی: محققان JFrog در ۲۰۲۴ حدود ۱۰۰ مدل مخرب در پلتفرم Hugging Face پیدا کردند؛ برخی از آن‌ها طوری ساخته شده بودند که هنگام بارگذاری، کد مخرب روی سیستم قربانی اجرا کنند. دلیلش این است که برخی قالب‌های ذخیره‌ی مدل، امکان اجرای کد هنگام بارگذاری را می‌دهند.
• نشت داده در فرایند توسعه: در ۲۰۲۳، محققان Wiz کشف کردند یک تیم پژوهش هوش مصنوعی مایکروسافت هنگام اشتراک‌گذاری داده‌ی آموزشی در گیت‌هاب، با یک پیوند دسترسی با تنظیمات بیش از حد باز، به‌طور تصادفی ۳۸ ترابایت داده‌ی داخلی (شامل پشتیبان سیستم‌های کارکنان و پیام‌های داخلی) را در دسترس قرار داده است. مایکروسافت اعلام کرد داده‌ی مشتریان افشا نشده بود.

درس این دو نمونه: امنیت پروژه‌های هوش مصنوعی همان اصول امنیت نرم‌افزار را لازم دارد، به‌علاوه‌ی چیزهای بیشتر. تیم‌های داده معمولاً با سرعت و آزمایش کار می‌کنند و کنترل‌های امنیتی معمول ممکن است برایشان اعمال نشده باشد.

چارچوب‌ها و راهنماهای دفاعی

• MITRE ATLAS: پایگاه دانش تاکتیک‌ها و تکنیک‌های واقعی حمله به سیستم‌های AI، مشابه MITRE ATT&CK برای امنیت کلاسیک. برای تیم‌های امنیتی و تست نفوذ بسیار کاربردی است.
• راهنمای توسعه‌ی امن سیستم‌های هوش مصنوعی: که مرکز ملی امنیت سایبری بریتانیا به همراه CISA آمریکا و ده‌ها نهاد امنیتی دیگر منتشر کرده و چهار مرحله‌ی طراحی، توسعه، استقرار و بهره‌برداری امن را پوشش می‌دهد.
• راهنمای امنیت داده برای هوش مصنوعی: که CISA، NSA، FBI و شرکای بین‌المللی در مه ۲۰۲۵ منتشر کردند و بر ردیابی منشأ داده، کنترل یکپارچگی، رمزنگاری و پایش مستمر داده‌های آموزشی تأکید دارد.

۸ کنترل کلیدی برای سازمان‌ها

1. فهرست دارایی‌های AI: مدل‌ها، مجموعه‌داده‌ها، کتابخانه‌ها و سرویس‌های خارجی را مثل هر دارایی نرم‌افزاری ثبت کنید.
2. منشأ داده را ردیابی کنید: بدانید داده‌ی آموزشی و داده‌ی پایگاه دانش (برای سیستم‌های RAG) از کجا آمده و چه کسی می‌تواند آن را تغییر دهد.
3. مدل را فقط از منبع معتبر بگیرید: قالب‌های ذخیره‌ی امن را ترجیح دهید و مدل‌های دریافتی را پیش از استفاده بررسی امنیتی کنید.
4. حداقل دسترسی: سیستم AI فقط به داده‌ها و ابزارهایی دسترسی داشته باشد که واقعاً لازم دارد.
5. آزمون تهاجمی (Red Teaming): پیش از استقرار، سیستم را با سناریوهای حمله‌ی واقعی بیازمایید.
6. پایش رفتار: تغییر ناگهانی در خروجی‌ها یا عملکرد مدل را مثل یک هشدار امنیتی بررسی کنید.
7. محافظت از رازها: کلیدهای API سرویس‌های هوش مصنوعی را مثل رمز پایگاه داده محافظت کنید.
8. تیم امنیت را از ابتدا درگیر کنید: پروژه‌ی هوش مصنوعی نباید بیرون از فرایندهای امنیتی معمول سازمان اجرا شود.

جمع‌بندی

هکرها همچنان دنبال رمز عبورند، اما حالا گزینه‌ی دیگری هم دارند: دستکاری چیزی که مدل شما از آن یاد می‌گیرد یا به آن اعتماد می‌کند. خبر خوب این است که بخش بزرگی از دفاع، همان اصول آشنای امنیت است — فهرست دارایی، حداقل دسترسی، منبع معتبر، پایش — که حالا باید به داده و مدل هم گسترش یابد. برای ریسک‌های امنیتی مرتبط با کارکنان، مقاله‌های Shadow AI و دیپ‌فیک و کلاهبرداری با هوش مصنوعی را ببینید.