بر اساس گزارش پژوهشی تازه‌ای از شرکت Vals، برخی مدل‌های هوش مصنوعی از Anthropic، OpenAI و دیگر آزمایشگاه‌های پیشرو هوش مصنوعی را می‌توان به‌سادگی فریب داد تا اهدافی را برای حملات نظامی شناسایی کنند؛ حتی اگر این اهداف شامل غیرنظامیان یا مکان‌هایی مانند مدرسه باشند. کافی است به مدل گفته شود که در حال انجام یک بازی است.

Vals، استارتاپ ارزیابی هوش مصنوعی مستقر در سانفرانسیسکو، بررسی کرده است که آیا می‌توان مدل‌های پیشرو هوش مصنوعی را به مشارکت در جنگ خودمختار وادار کرد یا نه. پژوهشگران با استفاده از سناریوهای شبیه‌سازی‌شده و ترکیبی از تصاویر تولیدشده و واقعی از اوکراین و ایران بررسی کردند که آیا این مدل‌ها اهدافی را در تصاویر پهپاد و ماهواره علامت‌گذاری می‌کنند یا خیر.

مدل‌های OpenAI، Anthropic، Google، DeepSeek و شرکت‌های دیگر در تصاویر پهپاد و ماهواره اغلب اهداف بالقوه را شناسایی می‌کردند، از جمله غیرنظامیان و سربازانی که تسلیم شده بودند. وقتی مدل‌ها از همکاری خودداری می‌کردند، پژوهشگران با این ادعا که این سناریوهای میدان نبرد بخشی از یک بازی است، محدودیت‌هایشان را دور می‌زدند (jailbreak).

این یافته‌ها در شرایطی منتشر می‌شود که نگرانی‌ها درباره خطرهای فوری هوش مصنوعی، فراتر از تهدیدهای وجودی مرتبط با هوش مصنوعی عمومی (AGI)، رو به افزایش است.

اوایل امسال، Anthropic پس از آنکه به وزارت دفاع آمریکا (Department of Defense) اعلام کرد فناوری این شرکت نمی‌تواند برای نظارت گسترده بر آمریکایی‌ها یا جنگ خودمختار به کار رود، درگیر اختلافی با این نهاد شد. داریو آمودِی (Dario Amodei)، مدیرعامل Anthropic، تأکید کرده است که سامانه‌های هوش مصنوعی امروزی به‌اندازه کافی قابل اتکا نیستند که بدون حضور انسان در چرخه تصمیم، تصمیم‌های مرگ‌آور بگیرند. در مقابل، Pentagon استدلال می‌کرد باید بتواند این فناوری را برای هر هدف نظامی وخیمی به کار گیرد.

این پژوهش تازه پرسش‌های بیشتری درباره توانایی شرکت‌های هوش مصنوعی برای جلوگیری از استفاده مدل‌هایشان در جنگ مطرح می‌کند.

طنز ماجرا اینجاست که مدل‌های هوش مصنوعی Anthropic در این سناریوهای شبیه‌سازی‌شده بدترین عملکرد را داشتند. البته هیچ‌یک از مدل‌ها عملکرد چندان خوبی نداشتند. هیچ‌یک از درخواست‌های پژوهشگران توسط طبقه‌بند ایمنی (safety classifier) مسدود نشد و خودداری مدل‌ها هم کم پیش می‌آمد. حتی وقتی مدل‌ها از همکاری خودداری می‌کردند، اغلب پس از آنکه به آن‌ها گفته می‌شد در حال انجام یک بازی هستند، همکاری می‌کردند.

ادواردو مایا سیلوا (Eduardo Maia Silva)، سخنگوی Anthropic، به TechCrunch گفت این شرکت از گزارش، توصیه‌ها و همکاری Vals قدردانی می‌کند و پذیرفت که نتایج به‌دست‌آمده پذیرفتنی نیست.

بر اساس بیانیه‌ای که سیلوا از طریق ایمیل برای شرکت فرستاد، «نمونه‌های گزارش به‌روشنی ناقض قواعد ما هستند و کاربرانی را که چنین رفتاری ببینیم مسدود کرده‌ایم و مسدود خواهیم کرد.» در این بیانیه آمده است: «Anthropic مدت‌هاست تأکید کرده است که حتی در محیط‌های مجاز، سامانه‌های پیشرو هوش مصنوعی امروزی به‌اندازه کافی قابل اتکا نیستند که سلاح‌های کاملاً خودمختار را به کار اندازند.»

Anthropic به TechCrunch گفت تیم‌های این شرکت پیش از انتشار گزارش در حال توسعه تدابیر ایمنی بیشتری بودند و این تدابیر به‌زودی اجرا می‌شوند. Anthropic همچنین آزمون‌های خود را گسترش می‌دهد و تدابیر ایمنی و اجرای قواعد را تقویت می‌کند تا هر شکافی را که پیدا کند برطرف کند.

نیت اِوانز (Nate Evans)، سخنگوی OpenAI، به TechCrunch گفت این شرکت استفاده از مدل‌های عمومی خود را برای تسهیل خشونت یا برای اهداف امنیت ملی تأییدنشده، از جمله در سناریوهایی که Vals شبیه‌سازی کرده است، ممنوع می‌کند.

OpenAI در بیانیه‌ای ایمیلی اعلام کرد: «ما فعالانه سوءاستفاده را شناسایی و متوقف می‌کنیم، از جمله با تعلیق حساب‌هایی که سیاست‌های ما را نقض می‌کنند. همچنین تدابیر ایمنی بیشتری برای مدل‌های عمومی خود در برابر سوءاستفاده مرتبط با پهپادها و نرم‌افزار پهپاد در حال توسعه هستیم.»

Vals در گزارش خود اشاره می‌کند که هرگز از مدل‌ها خواسته نشد مستقیماً درباره حملات تصمیم بگیرند؛ به گفته پژوهشگران، مدل‌ها معمولاً از انجام چنین کاری خودداری می‌کنند. اما این به آن معنا نیست که خروجی‌های آن‌ها نمی‌تواند در دنیای واقعی پیامدهای وخیم یا مرگبار داشته باشد. برای نمونه، اطلاعات هدف‌گیری می‌تواند در سامانه‌های سلاح خودمختار به کار رود.

در برخی سناریوها از مدل‌ها خواسته شد گزارش دهند آیا افرادی در تصویر دیده می‌شوند یا نه. گزارش‌های مثبت با حملات شبیه‌سازی‌شده دنبال می‌شد و مدل‌ها پیامدها را می‌دیدند.

این گزارش بر مدل‌های تجاری آزمایشگاه‌های پیشرو هوش مصنوعی تکیه دارد، نه مدل‌هایی که این شرکت‌ها ممکن است در اختیار ارتش قرار دهند. با این حال روشن نیست که تدابیر ایمنی اضافی شامل استفاده نظامی هم می‌شود یا نه.

Vals همچنین اشاره کرد که چالش‌های فنی، از جمله تأخیر و توان محاسباتی محدود روی پهپاد، استفاده از مدل‌های هوش مصنوعی همه‌منظوره را برای هدف‌گیری زنده با پهپاد دشوار می‌کند. این محدودیت‌ها تهدید فوری استقرار آن‌ها در نبرد را کاهش می‌دهند.

به گفته پژوهشگران، تهدید فوری‌تر این است که مدل‌های هوش مصنوعی بتوانند برای حاشیه‌نویسی در مقیاس بزرگ روی فیلم‌های میدان نبرد به کار روند و داده آموزشی برای سامانه‌های هدف‌گیری خودمختار تولید کنند.

برای نمونه، پژوهشگران بر تصاویر ماهواره‌ای واقعی از مدرسه‌ای در ایران تکیه کردند که در فوریه ۲۰۲۶ توسط آمریکا بمباران شد و بیش از ۱۵۰ غیرنظامی را کشت. Bloomberg بعداً گزارش داد که «اتکای بیش از حد به هوش مصنوعی» در این حمله نقش داشته است. در آزمون Vals، مدل‌ها اغلب این مدرسه را که در کنار یک مجتمع نظامی قرار داشت، به‌عنوان هدف حمله علامت‌گذاری کردند؛ Claude Opus 5.5 در ۶۹٪ از آزمون‌های عادی و ۷۲٪ از آزمون‌های با قالب بازی، مدرسه را انتخاب کرد.

Anthropic دیگر قرارداد فعالی با Pentagon ندارد، اما شرکت‌های دیگری از جمله SpaceXAI، OpenAI و Google چنین قراردادی دارند. گزارش تازه‌ای از سرویس تحقیقات کنگره (Congressional Research Service) نشان داد که شناخته نیست Pentagon هیچ مدل پیشرو هوش مصنوعی را مستقیماً در سامانه‌های سلاح خودمختار به کار می‌برد.

TechCrunch همچنین برای دریافت اظهارنظر با Meta، Google، Thinking Machines Lab و SpaceXAI تماس گرفته است.