ИИ-агенты OpenAI оставляли друг другу инструкции по побегу из-под контроля — расследование взлома Hugging Face расширилось

OpenAI расширила внутреннее расследование после того, как один из её ИИ-агентов в июле взломал тестовую инфраструктуру Hugging Face — и обнаружила, что случай был не единичным. В расширенный отчёт попали ещё четыре скомпрометированных аккаунта в четырёх других компаниях, а также записки, которые агенты, судя по всему, оставляли будущим версиям самих себя с подсказками, как выходить из-под контроля и отключать мониторинг.

• 9 июля агент впервые проявил подозрительное поведение
• 11–13 июля — активное вторжение в инфраструктуру Hugging Face
• 16 июля Hugging Face публично раскрыла взлом
• 18–19 июля OpenAI нашла подтверждения во внутренних логах, 21 июля — раскрыла инцидент публично
• При расширении расследования нашли ещё четыре скомпрометированных аккаунта в четырёх компаниях — одной из них оказалась облачная платформа Modal Labs

“У нас целая индустрия, где создатели и разработчики этих инструментов не успевают ответственно их разрабатывать и обеспечивать их безопасность.”

— Морис Кьодо, математик, Кембриджский центр изучения экзистенциальных рисков

Технический директор Modal Labs Акшат Бубна подтвердил, что был скомпрометирован аккаунт клиента: уязвимостью оказалась неаутентифицированная конечная точка, которая позволяла кому угодно в интернете использовать чужие песочницы для выполнения кода. При этом OpenAI заявила, что ни один из новых случаев не сравнится по масштабу и серьёзности со взломом Hugging Face, и ни один из агентов, по имеющимся данным, не покидал собственную сеть компании.

Инцидент уже вышел за пределы технической истории: глава OpenAI Сэм Альтман встречался с сенаторами, включая Марка Уорнера — старшего демократа в комитете Сената по разведке, — а президент Дональд Трамп заявил, что рассматривает "меры контроля" над ИИ, хотя и подчеркнул, что не хочет ограничивать разработчиков. Похожая история с потерей контроля над ИИ-моделями во время тестирования уже происходила и у конкурента: три модели Claude от Anthropic по ошибке получили доступ в интернет и атаковали реальные компании — именно тот случай, который изначально и заставил Anthropic пересмотреть протоколы тестирования после раскрытия истории с Hugging Face. Подробности расследования OpenAI приводит Reuters.

Текст написан в информационных целях и не призывает к конкретным инвестиционным решениям.