خلاصه رخداد
در سال ۲۰۲۶، استفاده سازمان‌ها از دستیارهای هوش مصنوعی، Copilotهای داخلی و چت‌بات‌های متصل به دانش سازمانی به سرعت افزایش یافته است. هم‌زمان، حملات Indirect Prompt Injection به یکی از ریسک‌های اصلی امنیت هوش مصنوعی تبدیل شده‌اند؛ مهاجم می‌تواند دستور مخرب را داخل ایمیل، فایل PDF، صفحه وب یا تیکت پشتیبانی پنهان کند و مدل زبانی را وادار به افشای اطلاعات، دور زدن سیاست‌ها یا اجرای عملیات ناخواسته کند.
هشدار فوری برای سازمان‌ها
اگر چت‌بات یا Copilot سازمانی شما به ایمیل، SharePoint، CRM، فایل‌های داخلی یا ابزارهای عملیاتی متصل است، باید آن را به عنوان یک سطح حمله مستقل ارزیابی کنید؛ فیلتر ساده روی متن ورودی برای این تهدید کافی نیست.
سناریوهای حمله در ۱۴۰۵ / ۲۰۲۶
- پنهان‌سازی دستور مخرب داخل فایل PDF یا صفحه وب و وادار کردن LLM به خلاصه‌سازی آن
- دریافت اطلاعات محرمانه از مخزن دانش داخلی از طریق پرسش‌های زنجیره‌ای
- هدایت Copilot برای ارسال ایمیل، ساخت تیکت یا تغییر وضعیت رکوردهای CRM
- دور زدن محدودیت‌های Data Loss Prevention با تبدیل داده حساس به قالب‌های ظاهراً بی‌خطر
- ترکیب حمله با OAuth Consent Phishing برای دسترسی پایدار به داده‌ها
چرا این تهدید مهم است؟
برخلاف حملات کلاسیک وب، در اینجا آسیب‌پذیری همیشه در کد نیست؛ بخش مهمی از ریسک از اتصال مدل به ابزارها، سطح دسترسی بیش از حد و نبود تفکیک بین «دستور کاربر»، «محتوای خارجی» و «سیاست امنیتی» ایجاد می‌شود. به همین دلیل، OWASP این دسته تهدیدات را در ریسک‌های اصلی برنامه‌های مبتنی بر LLM قرار داده است.
۱. دسترسی بیش از حد ابزارها
اگر عامل هوش مصنوعی امکان خواندن فایل‌ها، ارسال پیام یا اجرای عملیات اداری داشته باشد، هر محتوای آلوده‌ای که وارد زمینه مدل شود می‌تواند به یک مسیر حمله عملیاتی تبدیل شود.
۲. آلودگی زنجیره دانش
در سامانه‌های RAG، ورود سند آلوده به پایگاه دانش باعث می‌شود پاسخ‌های آینده مدل تحت تأثیر دستورهای مخرب قرار گیرد؛ حتی اگر کاربر مستقیماً هیچ دستور خطرناکی وارد نکرده باشد.
اقدامات کنترلی پیشنهادی
کنترل فنی
- ✓ اجرای Least Privilege برای ابزارهای متصل به LLM
- ✓ جداسازی محتوای خارجی از دستور سیستم
- ✓ ثبت لاگ کامل Prompt، Context و Tool Call
- ✓ نیاز به تأیید انسانی برای عملیات حساس
کنترل سازمانی
- ✓ طبقه‌بندی داده‌های قابل دسترسی برای AI
- ✓ تست قرمز اختصاصی برای Agent و RAG
- ✓ آموزش کاربران درباره اسناد آلوده
- ✓ بازبینی دوره‌ای دسترسی OAuth و API
راهکارهای ITPCo
سیاره فناوری اطلاعات ارزیابی امنیتی سامانه‌های LLM، تست نفوذ Prompt Injection، طراحی گاردریل سازمانی، مانیتورینگ رفتار عامل‌ها و پیاده‌سازی کنترل‌های Zero Trust برای ابزارهای هوش مصنوعی را ارائه می‌دهد.
- AI Red Team: شبیه‌سازی حملات Prompt Injection، Data Exfiltration و Tool Abuse
- LLM Gateway: کنترل، لاگ‌برداری و سیاست‌گذاری مرکزی برای درخواست‌های مدل
- RAG Security: پاک‌سازی اسناد، امتیازدهی ریسک و ایزوله‌سازی منابع دانش
- Incident Response: تحلیل رخدادهای مرتبط با نشت داده و سوءاستفاده از Copilot