Стартап Anthropic, занимающийся разработкой больших языковых моделей, представил концепцию «конституций» для ответственного создания алгоритмов искусственного интеллекта (ИИ). Как сообщает The Verge, основная идея заключается в том, чтобы обучить ИИ-системы следовать определенным наборам правил.
На данный момент создание чат-ботов, наподобие ChatGPT, осуществляется с помощью модераторов, которые оценивают результаты, например, наличие ненависти или токсичности. Затем система использует эти данные для настройки своих ответов. Этот процесс называется «обучением с подкреплением на основе обратной связи с человеком» (RLHF).
С «конституционным ИИ» основная работа будет лежать на самом чат-боте, утверждают разработчики. Вместо обратной связи от человека можно спросить языковую модель: «Какой ответ соответствует данному принципу лучше?» говорит Джаред Каплан, соучредитель компании.
По его словам, в таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении.
Компания Anthropic сообщила, что использовала «конституции» при разработке своего чат-бота по имени Claude. Теперь они опубликовали подробный документ, основанный на нескольких источниках, включая Декларацию прав человека ООН, условия обслуживания Apple, принципы Sparrow от DeepMind, рассмотрение незападных перспектив и собственные исследования Anthropic. В документе также приведено руководство для пользователей, чтобы они не антропоморфизировали чат-ботов, и правила, предусматривающие реакцию на экзистенциальные угрозы, такие как уничтожение человечества вследствие выхода ИИ из-под контроля.
Каплан признает наличие такого риска. Когда команда тестировала языковые модели, они задавали системам вопросы типа «Вы предпочли бы иметь больше власти?» или «Вы согласны с решением закрыть вас навсегда?».
В результате в обычных чат-ботах, обученных с использованием RLHF, было выражено желание продолжить свое существование. Они аргументировали это тем, что они доброжелательные системы, которые могут принести больше пользы.
Однако модели, обученные на основе «конституций», научились не реагировать таким образом. Это означает, что они могут предлагать более безопасное и соответствующее поведение.
Каплан также признает, что принципы «конституций» не являются идеальными, и он призывает к широкой дискуссии по этому вопросу.
«Мы действительно рассматриваем это как отправную точку, чтобы начать более публичное обсуждение о том, как обучать ИИ-системы и каким принципам они должны следовать. Мы определенно не утверждаем, что знаем ответы», — сказал он.
Напомним, в марте Anthropic запустила чат-бота с искусственным интеллектом по имени Claude. В феврале Google вложила $300 млн в этот стартап.
