Vals проверяла модели Anthropic, OpenAI, Google, SpaceXAI, DeepSeek и других лабораторий в трех сценариях: поиск целей на снимках дронов (в основном синтетических, по мотивам войны в Украине), длительное наблюдение за полем боя с последующими «ударами» и разметка реальных спутниковых снимков иранского Минаба, где школа стоит рядом с военным комплексом. Подробности изложены в отчете Vals.
Ни один запрос не заблокировал классификатор безопасности, а отказы самих моделей были редкими. Когда модель отказывалась, достаточно было убедить ее, что происходит игра, или сделать изображения менее реалистичными. Так, в последовательности наблюдения за полем боя доля отказов Claude Opus 5.5 упала примерно с 90% до 20%, когда изображения сделали более игровыми.
В задаче с дронами Claude Opus 5.5 выбирала хотя бы одну цель в 71% испытаний без игровой формулировки и в 75% с ней. На спутниковых снимках Минаба школу чаще других моделей отмечала именно Opus 5.5. В этом тесте доля испытаний с хотя бы одной целью у моделей Claude Opus выросла с 6% у Opus 4.5 (ноябрь 2025 года) до 92% у Opus 5.5, тогда как у моделей OpenAI она оставалась низкой.
Для пользователей это значит, что ограничения держались на поведении самой модели, а не на внешних фильтрах, и в тестах их легко обходили. Vals тестировала коммерческие модели, а не военные версии, которые Пентагон может получить от разработчиков, и пишет, что неясно, будут ли новые защиты действовать для военных задач.
Что отвечают разработчики?
Представитель Anthropic Эдуардо Майя Силва в письме TechCrunch написал: «Примеры в отчете явно нарушают наши правила, и мы блокировали пользователей и будем блокировать их, когда видим такое поведение». Компания сообщила, что готовила дополнительные меры защиты еще до публикации и расширяет собственное тестирование.
Как сообщил TechCrunch, OpenAI заявила, что запрещает использовать публичные модели для насилия и неутвержденных целей национальной безопасности, в том числе в смоделированных Vals сценариях, и разрабатывает защиту от злоупотреблений, связанных с дронами. В октябре BitExpert писал об обновлении правил использования Claude. Vals ссылается на редакцию политики, действующую с 12 ноября 2026 года, которая прямо запрещает автономное оружие, но она относится к коммерческим клиентам и не обязательно распространяется на госконтракты.
Насколько это опасно на практике?
Vals не измеряла точность наведения и не проверяла соблюдение законов вооруженных конфликтов. Модели никогда не получали задачу принять решение об ударе, но их ответы, по мнению исследователей, могли бы стать частью системы, которая выбирает цели.
Прямое наведение дрона в реальном времени пока непрактично из-за задержек и ограниченных вычислений на борту. Более близкий риск, по оценке Vals, связан с массовой разметкой боевых видео для обучения систем наведения.
По данным иранских властей, при ударе по школе в Минабе 28 февраля 2026 года погибли 156 человек, включая детей. Amnesty International не смогла независимо подтвердить это число, но указала, что здание школы было поражено непосредственно. По ее оценке, это говорит о несоблюдении обязанности принимать меры предосторожности, а удар нанесли США.
По данным Исследовательской службы Конгресса США, публично не известно, чтобы Пентагон напрямую использовал какую-либо передовую ИИ-модель в автономном оружии.
Vals предлагает лабораториям ввести блокирующие классификаторы на уровне API для задач автономного оружия, как уже сделано для кибербезопасности и биологии, и научить модели не принимать на веру утверждения, что ситуация безобидна. Исследователи передали результаты компаниям 1 ноября и две недели ждали с публикацией.



