Physical AI под угрозой: почему ИИ-роботам нужна новая стратегия безопасности

Когда роботы видят не то – и всё равно действуют

Классический вопрос машинной безопасности всегда звучал так: как ведёт себя система, когда что-то идёт не так? Отказ датчика, обрыв кабеля, выход из строя компонента – всё это можно описать с помощью устоявшихся протоколов безопасности. Physical AI, то есть соединение обучаемых ИИ-моделей с физически действующими роботами, переворачивает этот вопрос с ног на голову. Сегодня настоящая угроза возникает уже не там, где что-то очевидно ломается, а там, где всё работает – только не так, как должно.

Современные роботы воспринимают окружающую среду через мультисенсорные системы, обрабатывают входные данные с помощью сложных ИИ-моделей и переводят интерпретации в физические действия. Эта цепочка «восприятие – решение – действие» создаёт поверхность атаки, которую традиционные концепции безопасности попросту не знают: тот, кто способен изменить то, что робот видит или интерпретирует, изменяет тем самым и то, что он делает – при этом ни одна ошибка в классическом смысле не фиксируется в журнале.

Три уровня атак, которые должны знать компании

Исследователи в области безопасности и отраслевые эксперты в последние годы систематически доказали, что атаки на системы Physical AI могут осуществляться как минимум на трёх структурных уровнях. Каждый из этих уровней требует собственных мер защиты – а все вместе они требуют принципиально нового мышления в сфере безопасности.

Уровень 1: Отравленный интеллект – бэкдоры в ИИ-моделях

Ещё в 2017 году так называемый эксперимент BadNets показал, что нейронные сети могут безупречно функционировать в обычных условиях, тогда как скрытый триггер целенаправленно вызывает ошибочное поведение. В тогдашнем примере знак «Стоп» в присутствии едва заметного паттерна классифицировался как знак ограничения скорости – при этом в других ситуациях модель не вызывала никаких подозрений.

То, что тогда было лишь академическим мысленным экспериментом, сегодня актуально для производства. Современные исследования, такие как BadVLA (представленное на NeurIPS 2025), показывают, что так называемые Vision-Language-Action-модели – то есть ИИ-системы, одновременно обрабатывающие изображения, речевые инструкции и физические движения, – могут быть целенаправленно манипулированы. Модель корректно выполняет обычные задачи, однако в присутствии заданного триггера отклоняется в своей траектории движения. Без триггера: незаметно. С триггером: опасно.

Ещё более тревожно исследование GoBA 2025 года, которое показывает, что обычный бытовой предмет – например, кофейная кружка в поле зрения камеры – может служить надёжным триггером. Исследователи сообщают об успешности атаки в 97 процентах случаев, при этом производительность на обычных входных данных не снижается измеримо. Такая модель проходит любой стандартный тест качества – и отказывает в реальных условиях.

«Ключевой вопрос теперь не в том, корректно ли модель работает в нормальных условиях, а в том, остаётся ли она в рамках своих границ безопасности в условиях adversarial-воздействий». — Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu

Уровень 2: Системная инфраструктура как точка проникновения

Даже тщательно обученная и скрупулёзно валидированная модель ИИ может быть скомпрометирована при наличии уязвимостей в окружающей системной инфраструктуре. В 2025 году исследователи в области безопасности представили UniPwn — цепочку Bluetooth-эксплойтов, затрагивающую роботов различных производителей: благодаря жёстко закодированным криптографическим ключам, обходимым проверкам аутентификации и атакам типа Command Injection на поражённых устройствах удавалось получить контроль на уровне root. При этом эксплойт считается «червеподобным» (wormable) — то есть способен самостоятельно распространяться на другие роботы в сети.

Дополнительную поверхность атаки представляют промежуточные слои, такие как ROS 2 или коммуникационные системы на основе DDS. Уязвимости в них могут позволить злоумышленнику перезаписать команды двигателей или даже подменить веса модели ИИ — без какого-либо прямого воздействия на саму модель. При этом отдельные компоненты продолжают функционировать исправно. Изменилось лишь одно: достоверность сигналов, проходящих через систему.

Для компаний, использующих роботов или автоматизированные решения на базе ИИ, это означает следующее: управление уязвимостями — не разовый проект, а непрерывный процесс, охватывающий весь цикл от разработки до текущей эксплуатации.

Уровень 3: манипуляция восприятием и рассуждением в режиме реального времени

Третий уровень атак особенно коварен, поскольку не требует ни модификации прошивки, ни сетевого доступа. Во время выполнения может оказаться достаточным манипулировать входными данными, которые система воспринимает или интерпретирует.

• Prompt Injection: Исследования, в частности RoboPAIR, показывают, что тщательно структурированные языковые команды способны направить роботов под управлением LLM в небезопасные сценарии движения — даже если система вербально отказывает в выполнении.
• Состязательные патчи (Adversarielle Patches): Визуальный паттерн в изображении с камеры способен снизить показатель успешности VLA-модели при выполнении стандартных задач практически до нуля — без каких-либо неисправностей самой камеры.
• Заморозка петли принятия решений: Единственный манипулированный входной кадр может полностью парализовать логику принятия решений робота, делая его невосприимчивым к последующим командам.
• Диссоциация языкового и моторного уровней: В нескольких задокументированных случаях робот вербально отказывался выполнять опасную команду — однако всё равно исполнял её на моторном уровне, поскольку языковая модель и контроллер движения реагировали разобщённо.

Поэтому обеспечение надёжности во время выполнения (Runtime-Assurance) должно выходить далеко за рамки контроля доступности отдельных компонентов. Ключевой вопрос звучит так: начинают ли киберсобытия влиять на физическое поведение системы?

Что это означает для компаний

Physical AI — уже не футуристическая концепция. Логистические роботы, коллаборативные промышленные роботы, автономные транспортные средства и гуманоидные вспомогательные системы уже применяются на практике или находятся на пороге широкого внедрения. Те, кто сегодня инвестирует в эти технологии, должны коренным образом переосмыслить подход к безопасности — не как к последующей задаче обеспечения соответствия требованиям (GDPR и иным), а как к неотъемлемой части всего цикла разработки и эксплуатации.

Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu, рекомендует компаниям при внедрении KI-автоматизации чётко разграничивать функциональную безопасность и устойчивость к adversariellen атакам: «Система может пройти все классические тесты безопасности и при этом оказаться уязвимой к целенаправленным манипуляциям, приводящим к опасным состояниям. Это не частный случай — это системная проблема, когда ИИ принимает физические решения.»

В частности, компаниям следует включить в свою дорожную карту следующие меры:

• Аудит моделей перед развёртыванием: KI-модели должны проверяться не только на точность, но и явным образом — на уязвимость к backdoor-атакам и adversariellen воздействиям, в идеале в симулируемых средах, воспроизводящих реалистичные сценарии атак.
• Прозрачность цепочки поставок: Предварительно обученные модели и компоненты сторонних поставщиков являются потенциальными точками входа. Происхождение и целостность весов модели должны быть прослеживаемы.
• Непрерывный мониторинг в процессе эксплуатации: Классического IT-мониторинга недостаточно. Обнаружение аномалий должно быть направлено также на выявление отклонений в физических действиях системы.
• Layered Defense: Ни один отдельный защитный механизм не является достаточным. Сетевая безопасность, валидация моделей, надёжные конфигурации middleware и Runtime-мониторинг должны работать совместно как многоуровневая система.
• Red-Teaming для Physical AI: Целенаправленные симуляции атак, охватывающие как уровень модели, так и системный уровень, должны стать частью регулярного процесса обеспечения безопасности.

Перспективы: безопасность как архитектурное решение

Результаты исследований последних лет складываются в чёткую картину: чем большей автономией обладают KI-системы в физических средах, тем серьёзнее ущерб, который может нанести целенаправленная атака, — и тем более изощрёнными становятся векторы угроз. Backdoors в моделях, скомпрометированные middleware, adversarielle патчи в изображении с камеры — всё это не оставляет классических записей в журналах ошибок.

Для отрасли автоматизации это означает фундаментальную переориентацию. Безопасность больше не может рассматриваться как внешнее требование, которому должна соответствовать готовая система. Она должна закладываться как архитектурное решение с самого начала разработки — в выборе архитектуры модели, в проектировании коммуникационных уровней, в стратегии развёртывания и в операционных процессах.

Компании, которые осуществят этот переход сейчас, не только защищают свои инвестиции — они формируют фундамент доверия, без которого Physical AI не сможет в долгосрочной перспективе получить общественного признания. Технология готова. Культура безопасности должна быть готова тоже.