ИИ-стартап Anthropic по ошибке выставил пользователю бесплатной версии Claude счет на 16,6 миллионов долларов США. О произошедшем рассказал разработчик из Южной Кореи под ником remy_notes в социальной сети Threads.
Первое уведомление с требованием оплатить 1,6 миллиона долларов США он получил 7 июля. Изначально программист решил, что столкнулся с мошеннической рассылкой, однако уже на следующий день ему пришел второй счет — на 16,6 миллиона долларов США.
При этом письмо было отправлено с официального домена Anthropic, а ссылка на оплату вела в платежную систему Stripe. Несмотря на это, в личном кабинете пользователя отображалось нулевое использование API, а активных платных ключей на аккаунте не было.
8 июля банк дважды отклонил попытки списания средств, поскольку сумма операций превышала установленный лимит. Платежи были инициированы американским продавцом с названием ANTHROP.
Разработчик проверил все процессы, запущенные на своем Mac mini, включая восемь ИИ-агентов, однако не обнаружил ничего, что могло бы объяснить возникшую ситуацию.
Разбирательство заняло четыре дня и потребовало около 18 обращений в службу поддержки. Часть ответов поступала автоматически от ИИ-помощника Anthropic по имени Fin. Позже запрос передали специалистам по вопросам конфиденциальности, однако система продолжала отправлять новые запросы на списание той же суммы, из-за чего банк окончательно заблокировал карту пользователя.
Через 4 дня в Anthropic признали произошедшее ошибкой. В компании сообщили, что никаких средств со счета клиента списано не было. Причиной инцидента назвали некорректную работу функции автоматического пополнения баланса, которую после этого отключили в качестве меры предосторожности.