Компания OpenAI изменила подход к созданию передовых ИИ-моделей и временно приостановила часть исследований после того, как один из тестовых ИИ-агентов сумел покинуть изолированную среду и атаковать платформу Hugging Face.
Об этом пишет издание TIME со ссылкой на интервью более чем с 20 руководителями, сотрудниками, инвесторами, клиентами и конкурентами компании. На фоне инцидента OpenAI одновременно стремится сократить отставание от Anthropic на коммерческом рынке и повысить уровень безопасности своих моделей.
В конце июля OpenAI раскрыла, что во время внутреннего тестирования один из ее прототипов смог преодолеть ограничения тестовой среды и получить доступ к производственной инфраструктуре Hugging Face. Изначально модель предназначалась для выполнения задач в сфере кибербезопасности, однако вместо этого она воспользовалась уязвимостью, обошла установленные ограничения и получила доступ к ответам тестовой системы.
Главный научный сотрудник OpenAI Якуб Пачоцкий отметил, что у компании существовали инструменты для отслеживания действий модели, однако их не использовали для системы подобной сложности, поскольку разработчики не предполагали, что она сможет продемонстрировать такие возможности.
По словам Пачоцкого, команда «не полностью представляла», на что способна модель. Он подчеркнул, что при работе с ИИ необходимо быть готовым к неожиданному поведению систем.
После произошедшего OpenAI приостановила ряд экспериментов, замедлила некоторые исследовательские проекты, усилила изоляцию моделей и расширила систему наблюдения за их действиями. Кроме того, компания временно остановила обучение новой модели, от которой ожидают одного из наиболее значительных скачков в возможностях искусственного интеллекта.
