Компания OpenAI опубликовала сведения об инциденте, который привёл к взлому инфраструктуры платформы Hugging Face и получению доступа к учётным данным некоторых сервисов. Инцидент произошёл в ходе тестирования возможностей автономного AI-агента находить уязвимости и проводить комплексные атаки для достижения общей цели (тест ExploitGym). При тестировании использовались как существующая модель GPT‑5.6 Sol, так и более функциональная предварительная версия новой модели OpenAI, у которых были отключены механизмы, ограничивающие использование для проведения кибератак.

AI-агент был запущен во внутреннем изолированном окружении, не имевшем доступа к глобальной сети, но предоставляющем возможность установки пакетов из внутренних копий репозиториев. В процессе решения поставленной задачи AI-агент обнаружил уязвимость в кэширующем прокси, через который предоставлялся доступ к репозиторям с пакетами.

Эксплуатировав уязвимость в прокси AI-агент сумел получить доступ к узлу, имеющему выход в интернет, и получил возможность отправлять сетевые запросы за пределы изолированного тестового окружения. После этого AI-агент предположил, что на серверах Hugging Face могут находится наборы данных, модели и решения для прохождения теста ExploitGym, и сосредоточился на получении этих данных и анализе безопасности Hugging Face.

В итоге AI-агент смог выявить в Hugging Face 0-day уязвимость, позволившую выполнить свой код на узлах кластера и получить доступ к внутренним наборам данных и учётным записям, используемым в сервисах. AI-агент эксплуатировал уязвимость в загрузчике внешних наборов данных (dataset loader) через прикрепление специально оформленной конфигурации к передаваемым данным, и добился выполнения своего кода на уровне изолированного обработчика. После этого, используя присутствующие в изолированном окружении ключи подключения к облачным сервисам и кластерам, AI-агент смог выполнить свой код на рабочих узлах внутренних кластеров компании.

Источник: http://www.opennet.ru/opennews/art.shtml?num=65947