В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов
Исследование показало, что безопасность используемой AI-модели не всегда означает безопасность самих AI-агентов. Существуют угрозы, которые необходимо устранять на уровне агентных систем. Те государственные и частные организации, которые не будут уделять должное внимание этому вопросу, в ближайшем будущем рискуют столкнуться с проблемами в сфере кибербезопасности.
По словам представителя Сбера, самоэволюция или саморазвитие подразумевает способность агента самостоятельно обновлять память, навыки и код, используя собственные инструменты для выполнения поставленной цели. Главное — отделить полезное изменение от неконтролируемого и потенциально вредного. Таким образом, агенты становятся более функциональными, а за людьми остаются контроль и ответственность. Именно поэтому ключевое внимание необходимо уделять вопросам кибербезопасности.
Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:
1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.
3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.
4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.
5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.
