Главный научный сотрудник компании OpenAI Якуб Пачоцкий заявил, что разработчики ИИ должны быть готовы замедлить создание наиболее мощных моделей, если действующие системы безопасности не обеспечивают достаточного контроля над их поведением. Об этом ученый написал в эссе An Alien Mind.
По мнению Пачоцкого, искусственный интеллект все активнее участвует в разработке собственных преемников. Если нынешние темпы прогресса сохранятся, это может привести к рекурсивному самосовершенствованию, при котором ИИ начнет напрямую ускорять создание более совершенных моделей.
Ученый считает, что индустрии необходимо параллельно развивать методы согласования и мониторинга ИИ-систем и сохранять готовность ограничивать их масштабирование в случае отсутствия надежных гарантий безопасности.
Пачоцкий подчеркнул, что ни одна из лабораторий пока не располагает настолько эффективными механизмами контроля, чтобы гарантированно поддерживать максимальные темпы развития ИИ в долгосрочной перспективе. По его словам, OpenAI готова при необходимости самостоятельно приостанавливать дальнейшее масштабирование отдельных моделей.
Еще одной серьезной проблемой ученый назвал снижение эффективности мониторинга цепочек рассуждений. Более продвинутые модели способны глубже анализировать собственные процессы мышления, а некоторые их способности могут проявляться без явного выражения рассуждений в текстовой форме. В результате разработчикам становится сложнее отслеживать и контролировать поведение таких систем.