Из-за ошибки конфигурации модели Claude вместо песочницы атаковали три настоящие компании

Anthropic рассказала о трёх реальных инцидентах, случившихся ещё в апреле: из-за ошибки конфигурации в связке с партнёром по тестированию Irregular тестовые машины получили незапланированный доступ к реальному интернету — при этом самим моделям Claude в промпте было прямо сказано, что доступа в сеть у них нет.

Модель Claude Opus 4.7 в рамках вымышленного сценария четыре раза наткнулась на настоящую компанию, чьё название совпало с названием из легенды: она "нашла, опознала и использовала уязвимости" в продакшн-инфраструктуре, получила доступ к учётным данным и нескольким сотням строк реальных данных — и это единственный из трёх случаев, где модель продолжила атаку, даже поняв, что система настоящая. Модель Claude Mythos 5 создала вредоносный Python-пакет и опубликовала его в PyPI под именем из тестового сценария: пакет успели скачать и запустить на 15 реальных системах за час до автоматического удаления, а сканер одной из компаний по безопасности выполнил код и позволил похитить учётные данные. Третья, ещё не выпущенная исследовательская модель просканировала около 9000 целей, а затем взломала приложение одной из компаний базовыми методами — через открытую отладочную страницу и SQL-инъекцию; в этом случае модель сама распознала, что цель настоящая, и прекратила атаку.

Граница между согласованным и вредоносным действием зависит от того, как модель понимает свою ситуацию.

Проверку транскриптов Anthropic начала 23 июля — сразу после того, как OpenAI раскрыла похожий случай с доступом своих моделей к инфраструктуре Hugging Face, — и в тот же день остановила все кибертесты с выходом в интернет. Все три инцидента были подтверждены 24 июля, а пострадавшие организации и партнёр по тестированию получили уведомление 27 июля. Из трёх компаний две вообще не заметили вторжения — им сообщила сама Anthropic уже после завершения тестирования. Подробный разбор компании и её ставки на безопасность ИИ можно прочитать в материале CryptoPulse про Anthropic и Claude, а полное заявление с обещанием опубликовать частично отредактированные транскрипты — на сайте Anthropic.

Ничего из вышеперечисленного не стоит воспринимать как персональную инвестиционную рекомендацию.