به نقل از دیجیتال مارکتینگ ایران، با گسترش استفاده از ایجنت‌های هوش مصنوعی برای مدیریت ایمیل‌ها، انجام وظایف روزمره و تعامل خودکار با ابزارهای دیجیتال، تهدیدهای امنیتی تازه‌ای در حال شکل‌گیری است. پژوهشگران امنیت سایبری هشدار می‌دهند که دستیارهای هوشمند ممکن است در برابر ایمیل‌های فیشینگ و دستورهای مخربی که به‌صورت پنهان در محتوای پیام‌ها قرار گرفته‌اند، آسیب‌پذیر باشند. این مشکل زمانی جدی‌تر می‌شود که یک ایجنت علاوه بر خواندن اطلاعات، به ابزارها و حساب‌های کاربر نیز دسترسی داشته باشد و بتواند بدون بررسی انسانی اقداماتی را انجام دهد.
برخلاف کاربران انسانی که معمولاً می‌توانند نشانه‌هایی مانند درخواست غیرعادی، فرستنده ناشناس یا لحن مشکوک را بررسی کنند، ایجنت‌های هوش مصنوعی ممکن است در تشخیص مرز میان محتوای قابل‌خواندن و دستور قابل‌اجرا دچار مشکل شوند. مهاجمان می‌توانند از همین ضعف برای هدایت مدل به سمت اجرای فرمان‌هایی استفاده کنند که کاربر هرگز قصد انجام آن‌ها را نداشته است.
حمله فیشینگ به ایجنت‌های هوش مصنوعی چگونه انجام می‌شود؟
فیشینگ یکی از روش‌های شناخته‌شده حملات سایبری است که در آن مهاجم با جعل هویت یا طراحی پیام‌های فریبنده، تلاش می‌کند اطلاعات حساس را به دست آورد یا قربانی را به انجام اقدامی ناخواسته وادار کند. اما با ورود ایجنت‌های هوش مصنوعی به فرایندهای کاری، شکل تازه‌ای از این تهدید مطرح شده است: مهاجم به‌جای هدف قرار دادن مستقیم کاربر، تلاش می‌کند دستیار هوشمند او را فریب دهد.
در این روش، دستورهای مخرب ممکن است داخل ایمیل، متن یک سند یا محتوای ظاهراً بی‌ضرر دیگری قرار بگیرند. این دستورها می‌توانند به شکلی پنهان یا دشوار برای مشاهده انسان نمایش داده شوند، در حالی که سامانه پردازش خودکار همچنان قادر به دریافت آن‌ها باشد. در نتیجه، ممکن است ایجنت محتوایی را که صرفاً باید بررسی یا خلاصه کند، به‌اشتباه به‌عنوان دستورالعملی برای اجرا در نظر بگیرد.
برای مثال، تصور کنید یک دستیار هوشمند وظیفه دارد صندوق ورودی کاربر را بررسی کند و پیام‌های مهم را دسته‌بندی کند. اگر یک ایمیل حاوی دستور مخربی باشد که ایجنت را به افشای اطلاعات، بازکردن یک منبع نامطمئن یا انجام عملی خارج از وظیفه اصلی هدایت کند، ضعف در تفکیک داده از دستور می‌تواند زمینه‌ساز یک رخداد امنیتی شود. میزان خطر به نحوه طراحی ایجنت، سطح دسترسی آن و وجود یا نبود سازوکارهای کنترلی بستگی دارد.
تزریق پرامپت؛ نقطه‌ضعف مهم در امنیت هوش مصنوعی
این نوع تهدید با مفهوم «تزریق پرامپت» یا Prompt Injection ارتباط دارد. در این حمله، مهاجم تلاش می‌کند از طریق محتوایی که مدل هوش مصنوعی می‌خواند، رفتار آن را از مسیر تعیین‌شده منحرف کند. تفاوت مهم این روش با فیشینگ سنتی آن است که هدف مهاجم لزوماً فریب‌دادن مستقیم یک انسان نیست؛ بلکه ممکن است هدف، تأثیرگذاری بر تصمیم‌گیری یک سامانه هوشمند باشد.
مشکل زمانی به وجود می‌آید که مدل نتواند به‌طور قابل‌اعتماد تشخیص دهد کدام بخش از ورودی، داده‌ای برای تحلیل است و کدام بخش، دستورالعملی است که باید از آن پیروی کند. برای نمونه، یک ایمیل می‌تواند از ایجنت بخواهد محتوای خود را خلاصه کند، اما هم‌زمان شامل عباراتی باشد که مدل را به نادیده‌گرفتن محدودیت‌ها یا انجام عملی دیگر تشویق می‌کنند.
ایجنت‌های هوش مصنوعی معمولاً برای اجرای وظایف پیچیده به چند ابزار متصل می‌شوند. همین قابلیت، کاربرد آن‌ها را افزایش میدهد؛ اما در صورت ضعف امنیتی، دامنه پیامدهای یک حمله را نیز گسترده‌تر می‌کند. اگر دستیار تنها امکان تولید متن داشته باشد، پیامدهای احتمالی با حالتی که به ایمیل، فایل‌ها، مرورگر یا ابزارهای مالی دسترسی دارد یکسان نیست.
هشدار Malwarebytes درباره خطر ایمیل‌های مخرب
شرکت امنیت سایبری Malwarebytes در گزارشی درباره این تهدید هشدار داده است که مهاجمان می‌توانند از محتوای متنی پنهان یا کم‌نمایان برای هدف قرار دادن دستیارهای هوش مصنوعی استفاده کنند. بر اساس این گزارش، اتکا به بررسی چشمی ایمیل‌ها به‌تنهایی راهکار کافی برای مقابله با این مشکل نیست؛ زیرا ممکن است محتوایی که برای انسان قابل مشاهده نیست یا به‌سادگی نادیده گرفته می‌شود، همچنان وارد فرایند پردازش مدل شود.
آپولو رینز، توسعه‌دهنده سرویس بررسی کد ShipItClean، بر اهمیت جداسازی داده از دستور تأکید کرده است. از این دیدگاه، مسئله فقط توانایی مدل در تشخیص پیام‌های مشکوک نیست؛ بلکه باید سازوکار دریافت و پردازش ورودی‌ها نیز به‌گونه‌ای طراحی شود که محتوای پنهان و غیرقابل‌اعتماد نتواند به‌راحتی رفتار ایجنت را تغییر دهد.
یکی از رویکردهای پیشنهادی، پاک‌سازی و نرمال‌سازی محتوای ورودی پیش از ارسال آن به مدل است. چنین فرایندی می‌تواند به شناسایی یا حذف برخی عناصر پنهان کمک کند. با این حال، پاک‌سازی متن به‌تنهایی تضمین نمی‌کند که همه انواع تزریق پرامپت شناسایی شوند؛ بنابراین باید در کنار آن از محدودسازی دسترسی‌ها، اعتبارسنجی اقدامات و کنترل‌های امنیتی چندلایه استفاده کرد.
چرا گسترش ایجنت‌های خودمختار خطر را افزایش میدهد؟
ایجنت‌های خودمختار هوش مصنوعی با هدف انجام وظایف چندمرحله‌ای و کاهش نیاز به مداخله مداوم انسان طراحی می‌شوند. آن‌ها ممکن است پیام‌ها را بخوانند، اطلاعات را استخراج کنند، در وب جست‌وجو انجام دهند یا از طریق ابزارهای متصل، اقداماتی را اجرا کنند. هرچه میزان استقلال و اختیارات این سامانه‌ها بیشتر باشد، کنترل امنیتی آن‌ها اهمیت بیشتری پیدا می‌کند.
برای مثال، دستیار هوشمندی که فقط ایمیل‌ها را خلاصه می‌کند، با ایجنتی که می‌تواند پیام ارسال کند، فایل به اشتراک بگذارد یا تنظیمات حساب را تغییر دهد، سطح ریسک متفاوتی دارد. در حالت دوم، یک تصمیم اشتباه یا اجرای دستور مخرب می‌تواند به افشای اطلاعات، اختلال در گردش کار یا تغییراتی منجر شود که بازگرداندن آن‌ها دشوار است.
افزایش حضور ابزارهای هوش مصنوعی در فعالیت‌های روزانه، از جمله دستیارهای جدیدی مانند Muse متعلق به متا، ضرورت بررسی این ریسک‌ها را بیشتر می‌کند. بااین‌حال، وجود این آسیب‌پذیری به معنای ناامن‌بودن همه ابزارهای هوش مصنوعی نیست؛ میزان آسیب‌پذیری به معماری سیستم، نوع اتصال‌ها، مجوزهای اعطاشده و نحوه مدیریت ورودی‌های غیرقابل‌اعتماد بستگی دارد.
مرورگرهای هوشمند و بات‌های اجتماعی نیز در معرض تهدید هستند
بر اساس گزارش منتشرشده، شواهدی از مشکلات مشابه پیش‌تر در برخی مرورگرهای هوشمند و بات‌های شبکه اجتماعی Moltbook نیز مطرح شده بود. این موضوع نشان میدهد که خطر تزریق پرامپت محدود به صندوق ورودی ایمیل نیست و هر محیطی که در آن یک مدل، محتوای تولیدشده توسط دیگران را دریافت و بر اساس آن تصمیم‌گیری کند، ممکن است در معرض چنین تهدیدی قرار بگیرد.
در مرورگرهای مجهز به هوش مصنوعی، محتوای یک صفحه وب می‌تواند بر پاسخ یا تصمیم مدل اثر بگذارد. در بات‌های اجتماعی نیز پیام‌ها، پست‌ها و اطلاعات منتشرشده از سوی کاربران دیگر ممکن است به ورودی مدل تبدیل شوند. اگر سامانه نتواند محتوای غیرقابل‌اعتماد را از دستورهای معتبر جدا کند، مهاجم می‌تواند تلاش کند رفتار آن را منحرف سازد.
به همین دلیل، توسعه‌دهندگان باید هنگام طراحی ایجنت‌ها، تمام منابع ورودی را بالقوه غیرقابل‌اعتماد در نظر بگیرند؛ نه اینکه تنها ایمیل‌های دریافتی یا فایل‌های پیوست را بررسی کنند. هر منبعی که محتوای آن خارج از کنترل سامانه تولید شده باشد، می‌تواند بخشی از سطح حمله را تشکیل دهد.
چگونه از ایجنت‌های هوش مصنوعی در برابر فیشینگ محافظت کنیم؟
کاهش خطر این حملات به مجموعه‌ای از اقدامات فنی و مدیریتی نیاز دارد. کاربران و سازمان‌ها نباید امنیت را صرفاً به توانایی مدل در تشخیص محتوای مشکوک وابسته کنند. در عوض، لازم است دسترسی‌ها محدود شوند، اقدامات حساس به تأیید نیاز داشته باشند و ورودی‌های خارجی پیش از پردازش به‌درستی مدیریت شوند.
۱. محدودکردن سطح دسترسی ایجنت
هر دستیار هوشمند باید فقط به ابزارها و اطلاعاتی دسترسی داشته باشد که برای انجام وظیفه خود به آن‌ها نیاز دارد. اگر ایجنت صرفاً برای دسته‌بندی ایمیل‌ها استفاده می‌شود، نباید بدون ضرورت به حساب‌های مالی، اسناد محرمانه یا قابلیت ارسال آزادانه اطلاعات دسترسی داشته باشد. اصل حداقل دسترسی می‌تواند پیامدهای احتمالی یک حمله را کاهش دهد.
۲. دریافت تأیید انسانی برای اقدامات حساس
اقداماتی مانند انتقال وجه، پرداخت، تغییر مشخصات حساب، ارسال اطلاعات محرمانه یا حذف فایل‌های مهم نباید صرفاً بر اساس تصمیم مستقل یک ایجنت انجام شوند. بهتر است اجرای این عملیات به تأیید صریح کاربر وابسته باشد. این کنترل به‌ویژه زمانی اهمیت دارد که درخواست از طریق ایمیل یا محتوای دیگری دریافت شده باشد که امکان دست‌کاری آن وجود دارد.
۳. جداسازی داده‌های ورودی از دستورهای معتبر
توسعه‌دهندگان باید معماری سامانه را طوری طراحی کنند که محتوای ایمیل‌ها، صفحات وب و اسناد خارجی به‌صورت خودکار در جایگاه دستورهای معتبر قرار نگیرد. استفاده از مرزبندی روشن میان دستورهای سیستمی و داده‌های دریافتی، همراه با بررسی ورودی‌ها و محدودکردن ابزارهای در دسترس مدل، می‌تواند خطر اجرای ناخواسته فرمان‌ها را کاهش دهد.
۴. ثبت و بررسی اقدامات ایجنت
سازمان‌ها بهتر است تاریخچه تصمیم‌ها و عملیات ایجنت‌ها را ثبت کنند تا در صورت بروز رفتار غیرعادی، امکان بررسی اتفاقات وجود داشته باشد. هشدار درباره درخواست‌های نامعمول، محدودیت برای عملیات پرخطر و امکان توقف سریع دستیار نیز به مدیریت بهتر رخدادهای امنیتی کمک می‌کند.
۵. به‌روزرسانی و ارزیابی امنیتی مستمر
تهدیدهای مرتبط با هوش مصنوعی به‌سرعت در حال تحول هستند. به همین دلیل، توسعه‌دهندگان و سازمان‌ها باید ابزارهای خود را به‌صورت مستمر ارزیابی کنند، سناریوهای تزریق پرامپت را در آزمون‌های امنیتی بگنجانند و پس از تغییر مدل یا اضافه‌شدن یک ابزار جدید، سطح ریسک را دوباره بسنجند. هیچ راهکار منفردی نمی‌تواند تمام حملات احتمالی را متوقف کند.
آیا باید استفاده از دستیارهای هوش مصنوعی را متوقف کرد؟
هشدار درباره حملات فیشینگ و تزریق پرامپت به این معنا نیست که باید ابزارهای هوش مصنوعی را کنار گذاشت. این ابزارها می‌توانند در خلاصه‌سازی ایمیل‌ها، استخراج اطلاعات و افزایش بهره‌وری مفید باشند؛ اما میزان اختیارات آن‌ها باید متناسب با حساسیت وظیفه تعیین شود.
برای کارهای کم‌خطر، مانند خلاصه‌کردن یک پیام یا دسته‌بندی مکاتبات، می‌توان از خودکارسازی بیشتری استفاده کرد. در مقابل، اقداماتی که بر پول، اطلاعات محرمانه، دسترسی‌های سازمانی یا تغییرات برگشت‌ناپذیر اثر می‌گذارند، به کنترل‌های سخت‌گیرانه‌تر نیاز دارند. در چنین شرایطی، حضور انسان در چرخه تصمیم‌گیری یک مانع غیرضروری نیست؛ بلکه بخشی از طراحی مسئولانه و امن سیستم محسوب می‌شود.
جمع‌بندی؛ امنیت ایجنت‌های هوش مصنوعی به کنترل دسترسی وابسته است
آسیب‌پذیری ایجنت‌های هوش مصنوعی در برابر ایمیل‌های فیشینگ و حملات تزریق پرامپت، یکی از چالش‌های مهم در مسیر گسترش سامانه‌های خودمختار است. مهاجمان ممکن است با قراردادن دستورهای مخرب در محتوای ظاهراً عادی، تلاش کنند رفتار مدل را تغییر دهند؛ به‌ویژه زمانی که ایجنت به ابزارها و اطلاعات حساس دسترسی دارد.
راهکار مقابله با این تهدید تنها آموزش کاربران برای شناسایی ایمیل‌های مشکوک نیست. پاک‌سازی ورودی‌ها، جداسازی داده از دستور، محدودکردن مجوزها، ثبت اقدامات و الزام به تأیید انسانی برای عملیات حساس باید در کنار یکدیگر به کار گرفته شوند. هرچه ایجنت‌ها اختیار بیشتری برای اقدام مستقل داشته باشند، ضرورت طراحی لایه‌های دفاعی و نظارت بر عملکرد آن‌ها نیز بیشتر خواهد شد.
برای مطالعه جدیدترین اخبار و تحلیل‌های هوش مصنوعی، امنیت سایبری و فناوری‌های دیجیتال به دیجیتال مارکتینگ ایران مراجعه کنید.
“`
