Когда ИИ-агенты доверяют друг другу – и почему это угроза безопасности

Проблема доверия в эпоху автономных систем ИИ

Любой, кто сегодня задумывается о KI-gestützte автоматизации в бизнесе, быстро сталкивается с тем, что кажется техническим нюансом, но на деле является стратегическим вопросом принципиального характера: насколько система может доверять самой себе? С появлением так называемого Agentic AI – то есть автономных ИИ-агентов, которые самостоятельно планируют, делегируют и выполняют задачи, – этот вопрос оказывается в центре дискуссии о безопасности. Недавний анализ исследовательской группы Университета Королевы Белфаста показывает, что существующие модели безопасности, в частности архитектуры Zero-Trust, сталкиваются с концептуальными ограничениями под давлением взаимосвязанных ИИ-агентов.

Что такое Zero-Trust – и почему одного его больше недостаточно?

Принцип архитектуры Zero-Trust (ZTA) хорошо зарекомендовал себя: никогда не доверять автоматически, всегда проверять. Каждый доступ, каждое взаимодействие проверяется независимо от того, происходит ли оно изнутри или снаружи. В классических ИТ-средах это работает хорошо. Однако когда автономные ИИ-агенты взаимодействуют в сети – управляемые так называемым оркестратором, который распределяет и координирует задачи, – возникает фундаментальная дилемма.

Критическая точка находится в Policy Enforcement Point (PEP) – центральном компоненте, обеспечивающем соблюдение политик. Этот элемент сам должен считаться доверенным, чтобы вся система функционировала. Но именно здесь нарушается само обещание Zero-Trust: доверенная инстанция всё же существует – и именно она становится приоритетной целью для атак.

Классическая модель Zero-Trust разрабатывалась для статичных систем с участием человека в контуре управления – не для автономно действующих ИИ-агентов, принимающих и передающих решения за миллисекунды.

Мультиагентные системы на практике: эффективность и слепые пятна

Сегодня многочисленные команды по всему миру создают приложения на основе взаимосвязанных ИИ-агентов – для оценки рисков, профилирования клиентов, анализа информации или автоматизированной поддержки принятия решений. Прирост эффективности реален и измерим. Однако вместе со сложностью растёт и поверхность атаки.

Особенно коварной проблемой является так называемый Context Recovery Attack: агентам намеренно дают указание удалить определённые исторические логи, чтобы избежать искажения будущих решений. Однако последующий промпт может привести к тому, что эта информация всё равно будет восстановлена – агент, по сути, вынуждается воспроизвести удалённое. Вопрос о том, были ли инструкции действительно выполнены, в работающей системе практически не поддаётся надёжной проверке.

Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu, считает это одной из ключевых проблем для компаний, стремящихся внедрить агентную автоматизацию: «Эффективность мультиагентных систем целиком зависит от качества стоящего за ними слоя управления. Агент, которому доверяют без достаточных оснований, – это не преимущество автоматизации, а неконтролируемый риск.»

Vibe Coding и внешние модели: недооценённые точки входа

Ещё один аспект заслуживает особого внимания: тренд так называемого Vibe Codings. Команды разработчиков используют ИИ-модели для генерации или переработки программного кода – зачастую с высокой скоростью и без полной проверки результатов. Проблема возникает тогда, когда существенные части собственной кодовой базы передаются внешним моделям, не поддающимся полному контролю. Уязвимости безопасности, возникающие в этом процессе, способны распространяться сразу через несколько системных поверхностей – исследователи называют это явление Vulnerability Sweeping.

Для компаний это означает: в периметр безопасности должны быть включены не только сами ИИ-агенты, но и инструменты, с помощью которых они разрабатываются и обучаются. Слепое доверие к готовым моделям без корпоративных Guardrails – это не вопрос бюджета, а вопрос осознания рисков.

Атаки деаутентификации за секунды – временно́е окно сужается

Особенно наглядно эксперимент из Белфаста демонстрирует, насколько сильно агентные системы меняют динамику кибератак. При классических атаках деаутентификации на сетевые системы – то есть целенаправленном разрыве легитимных соединений – время реакции благодаря агентной оркестрации удалось сократить до двух-трёх секунд. Это временно́е окно, в котором едва ли какая-либо команда безопасности успевает отреагировать.

Этот вывод имеет непосредственные последствия для любой компании, интегрирующей автономных агентов в критически важную инфраструктуру: поверхность атаки растёт не только вширь, но и в скорости. Системы с низкой отказоустойчивостью, основанные на агентных рабочих процессах без трассировки, находятся при этом в особой зоне риска – ведь верификация каждого запроса агента в режиме реального времени с вычислительной точки зрения попросту невозможна в каждом сценарии.

Горизонтальные аномалии: недооценённый риск в сети агентов

Концептуально новая картина рисков складывается вокруг понятия горизонтальных аномалий. Под этим подразумевается следующее: ИИ-агент, надёжно и в соответствии с правилами выполняющий конкретную задачу, не обязан столь же безупречно вести себя в других контекстах или при взаимодействии с другими компонентами системы. Поведение зависит от контекста – а значит, стандартизировать его труднее, чем предполагалось прежде.

Это открытие актуально для компаний, которые намерены строить агентные системы модульно и расширять их поэтапно. Валидация агента в заданной среде не является индульгенцией для его поведения во всём системном ландшафте.

Подходы к решению: Traceability, Distributed Ledger и AI-BOM

Исследования указывают и на возможные выходы из ситуации. Два подхода заслуживают особого внимания: во-первых, внедрение AI Bill of Materials (AI-BOM) – то есть структурированной документации всех компонентов, моделей и зависимостей ИИ-системы, по аналогии с известной Software Bill of Materials. Во-вторых, применение Distributed-Ledger-Technologie, которая благодаря неизменяемости и прозрачности способна создать платформонезависимую доверенную инфраструктуру.

Оба подхода направлены на то, чтобы не предполагать доверие, а делать его доказуемым – и тем самым реализовывать подлинное обещание Zero-Trust даже в агентных средах. Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu, подчёркивает в этой связи, что компаниям следует закладывать аудируемость как принцип проектирования с самого начала создания инфраструктуры автоматизации – а не внедрять её впоследствии как функцию соответствия требованиям.

Что компаниям следует сделать прямо сейчас

• Управление прежде скорости: Прежде чем внедрять мультиагентные системы, необходимо определить, какие решения агенты вправе принимать автономно, а какие требуют проверки человеком.
• Аудируемость как обязательное требование: Каждое взаимодействие агента должно быть прозрачно задокументировано. Системы без концепции логирования не подходят для приложений, критичных с точки зрения безопасности.
• Осознанное использование внешних моделей: AI-сервисы сторонних поставщиков – в том числе для задач разработки – следует интегрировать в рабочие процессы только после чёткой проверки на соответствие требованиям защиты данных и информационной безопасности.
• Планирование избыточных уровней доверия: Единственный доверенный уровень в системе является единой точкой отказа. Надёжные архитектуры распределяют ответственность за доверие между несколькими уровнями.
• Горизонтальный подход к обнаружению аномалий: Тестовые сценарии должны проверять не только отдельных агентов изолированно, но и фиксировать их поведение во взаимодействии с другими компонентами системы.

Вывод: доверие нужно заслужить – и доказать

Agentic AI – это не хайп, который пройдёт сам по себе; это закономерное развитие автоматизации. Однако вместе с автономией растёт и ответственность, а технические модели безопасности пока отстают от этого развития. Zero-Trust – не устаревшая концепция, а незавершённая: её необходимо переосмыслить и расширить применительно к агентному миру.

Для компаний это означает следующее: переход к автоматизации рабочих процессов с помощью AI-агентов целесообразен и экономически привлекателен. Однако он требует зрелости в области безопасности, которая выходит далеко за рамки простой настройки межсетевого экрана. Как формулирует это Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu: тот, кто сегодня выстроит правильные Guardrails, завтра сможет в полной мере воспользоваться скоростью автоматизации – тот же, кто откажется от этого, заплатит свою цену позже и в значительно худших условиях.