В анонсе OpenAI описала BioBasicsBench как тест для задач «мокрой» лаборатории — опытов с настоящими реагентами. Агентам нужно анализировать сырые данные, замечать ошибки и не делать выводов, которые не подтверждаются результатами.
Бенчмарк разработан совместно с биотехнологической компанией Ligo, которая занимается дизайном ферментов. OpenAI считает, что такие тесты помогут определить, в чём моделям ещё нужно улучшиться, и оценивать значение их результатов для научного прогресса и биобезопасности.
