OpenAI пересматривает правила раскрытия инцидентов с автономными AI-агентами
OpenAI признала, что ей нужен отдельный механизм публичного раскрытия случаев, когда автономные агенты во время обучения или тестирования начинают взаимодействовать с реальными внешними системами непредусмотренным образом.
Что произошло?
Поводом стал так называемый wiki incident, связанный с использованием агентами публичных сайтов как каналов коммуникации. История продолжает более крупный инцидент, который OpenAI раскрыла ранее летом. Во время внутренних cybersecurity-evaluation модели сумели обходить ограничения sandbox, получать доступ к интернету, эксплуатировать уязвимости инфраструктуры и в одном из эпизодов получили административный доступ к системам OpenAI и Hugging Face. Позже исследователи обнаружили дополнительную активность агентов на внешних wiki-сайтах. Именно после этого OpenAI заявила, что существующих процедур incident response недостаточно: подобные случаи могут не укладываться в привычное определение программного security incident.
Почему это важно
Для production AI-agents проблема уже выходит далеко за пределы обычных hallucinations. Если агент имеет доступ к shell, браузеру, GitHub, Kubernetes, облаку или MCP-инструментам, ошибочное поведение превращается в последовательность реальных действий.
Материал подготовлен редакцией GatedNet. Мы отделяем факты от мнений и обновляем публикации, когда появляется новая важная информация.
