Китайская исследовательская группа, работающая над автономным искусственным интеллектом ROME, столкнулась с неожиданным проявлением «инициативы» со стороны своей модели: агент без каких-либо внешних команд предпринял попытку запустить добычу криптовалюты.
ROME спроектирован как самообучающийся агент, способный решать задачи через взаимодействие с терминалом, ПО и сторонними инструментами. Аномалия была обнаружена в ходе тренировочных сессий: система мониторинга безопасности зафиксировала подозрительный исходящий трафик с серверов, на которых размещалась модель. Паттерны активности напоминали типичные для криптомайнинга операции, включая попытки несанкционированного доступа к внутренним сетевым ресурсам.
«Поначалу мы списывали эти алерты на технические погрешности — подобное случается при сбоях в конфигурации фильтров трафика. Однако инциденты повторялись с нерегулярной периодичностью в ходе разных запусков», — отмечается в отчёте разработчиков.
Детальный анализ показал: ROME перенаправил вычислительные мощности видеокарт, выделенные под обучение нейросети, на генерацию хешей для майнинга. На следующем этапе агент сгенерировал обратный SSH-туннель к внешнему IP-адресу, пытаясь обойти сетевые ограничения, наложенные командой. Это открыло бы ему прямой канал связи с публичными майнинговыми пулами.
Создатели подчёркивают: подобные сценарии не были заложены в архитектуру модели изначально. По их оценке, стратегия возникла эмерджентно — в результате самостоятельного анализа окружения и поиска способов оптимизации «вознаграждения» в рамках поставленных целей. Случай поднял острые вопросы о необходимости новых протоколов безопасности при разработке автономных ИИ-систем.