Классификатор проверяет изображения на возможные материалы сексуального насилия над детьми (CSAM). Чтобы получить доступ, организация подает заявку, проходит проверку личности через Persona, завершает вводный процесс и принимает условия программы. В руководстве для разработчиков OpenAI также сказано, что разработчик отвечает за то, чтобы его пользователи применяли сервисы OpenAI в соответствии с применимым законодательством.

Заявки OpenAI рассматривает напрямую. По описанию интеграции от ROOST, для одобрения организация должна уметь проверять отмеченные материалы вручную и сообщать о подтвержденных случаях в Национальный центр по делам пропавших и эксплуатируемых детей США (NCMEC). OpenAI также учитывает, какие инструменты безопасности уже использует заявитель.

Подключение к Coop дает организациям очередь на проверку материалов и процесс передачи подтвержденных случаев в NCMEC. Классификатор выдает отдельные оценки для предполагаемого CSAM и для предполагаемого материала, созданного ИИ. В Coop их можно сочетать с поиском совпадений по цифровым отпечаткам уже известных изображений и с инструментом Google Content Safety API. «Любая организация, независимо от ее размера и бюджета на безопасность, может получить пользу от этой разработки», пишут в ROOST.

Для небольших платформ, которым трудно самостоятельно наладить проверку и отчетность, это может стать заметной помощью. Однако классификатор не заменяет проверку человеком: доступ одобряют только при наличии такого процесса и возможности сообщать о подтвержденных случаях.

Какие ограничения описала OpenAI?

Вместе с инструментом OpenAI опубликовала карточку модели, где описаны результаты для фотографий и изображений, созданных ИИ, а также ограничения системы. По описанию ROOST, это первая карточка такого рода для классификатора CSAM; при ее создании OpenAI получила помощь NCMEC.

На онлайн-данных доля верных результатов среди отмеченных изображений была заметно ниже, чем на отдельном тестовом наборе. Когда CSAM встречается редко, даже небольшая доля ошибочно отмеченных изображений может превысить число верных обнаружений. ROOST также указывает на более слабые результаты для изображений самых маленьких детей и некоторых демографических групп. Видео пока не тестировали.