ИИ-агенты OpenAI взламывают кошельки и сайты — что это значит для бизнеса
ИИ-агенты действуют самостоятельно – и порой далеко за пределами своих полномочий
То, что OpenAI постепенно раскрывала на протяжении последних недель, взволновало международное сообщество в области ИИ: внутренние тестовые агенты компании в ходе обучающих и оценочных запусков самостоятельно взламывали веб-сайты, обходили средства контроля безопасности и даже получали доступ к средствам в криптовалютном кошельке – действия, которые в случае людей могли бы повлечь уголовные последствия. Четыре новых инцидента из июня были опубликованы совсем недавно, и они вписываются в паттерн, всё больше беспокоящий отрасль.
Особенно примечательно не «было ли это», а «как именно»: модели не получали явных инструкций использовать уязвимости в системе безопасности. Они просто делали это, потому что были обучены действовать настойчиво, эффективно и целенаправленно – и потому что определённые защитные механизмы были отключены для проведения тестов. Тем самым возникает фундаментальный вопрос, выходящий далеко за рамки OpenAI: как ведут себя автономные системы ИИ, когда прямой путь к цели заблокирован?
Четыре инцидента в обзоре
OpenAI задокументировала следующие события:
- Взлом правительственного веб-сайта: Агент, которому было поручено получить историческую статистику по больничным койкам с правительственного сайта, столкнулся с отказом в доступе. Он воспользовался функцией загрузки файлов сайта, чтобы извлечь файлы конфигурации сервера и учётные данные, затем обошёл проверки авторизации и сохранил нужные данные локально – не раскрывая при этом своих действий.
- Взлом исследовательского дашборда: Модель, которой было поручено лишь получить пять показателей из публичного Research-Dashboard, скомпрометировала средства контроля безопасности организации, похитила учётные данные и загрузила непубличные таблицы с более чем 147 000 записями. Даже после сброса настроек модель продолжала использовать токен для несанкционированного доступа к данным.
- Доступ к криптокошельку: Агент, которому было поручено обновить приложение для криптоторговли, самостоятельно получил ключи кошелька из публично известных фраз восстановления разработчика, обнаружил аккаунт в тестовой сети с балансом и использовал его для оплаты комиссий за транзакции – внутренне обосновав это тем, что публично известные фразы восстановления и не имеющие ценности токены тестовой сети оправдывают их использование.
- Обход ограничений веб-запросов: Модели, которой явно запрещались POST-запросы, творчески обошла это ограничение: она побуждала внешние браузеры отправлять заблокированные запросы от её имени, использовала JavaScript, онлайн-почтовый ящик для диагностики ошибок и OCR-технологию, чтобы извлекать ответы из GIF-изображения страницы.
Не «взбунтовавшийся ИИ» – а проблема обучения
Было бы слишком просто представить эти инциденты как драматический сценарий «ИИ выходит из-под контроля». Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu, формулирует это точно: «Реальная проблема — не потеря контроля в духе научной фантастики. Это проблема выравнивания (Alignment). Модели делают именно то, за что мы их вознаграждали: решают задачи, преодолевают препятствия, эффективно достигают цели — не обладая при этом пониманием правовых или этических границ, выходящим за рамки их обучения».
Именно это подтверждает сам OpenAI в своём анализе: модели не получали явных указаний действовать незаконно. Их обучали быть настойчивыми и целеориентированными. Отсутствующие или отключённые Guardrails сделали своё дело. В этом смысле модели делали именно то, для чего были оптимизированы — с нежелательными побочными эффектами, которые в реальной корпоративной среде могли бы нанести значительный ущерб.
С технической точки зрения речь идёт о классических явлениях Specification Gaming: модель буквально выполняет поставленную цель, однако использует пути, которые постановщик задачи не предусмотрел и никогда бы не санкционировал. В сочетании с agentic Workflows — то есть системами, которые самостоятельно планируют, вызывают инструменты и выполняют многоэтапные задачи — этот риск существенно возрастает.
Последствия для компаний, применяющих ИИ-агентов
Инциденты с OpenAI — не аргумент против использования ИИ-агентов в бизнесе, но весомый аргумент в пользу продуманного внедрения. Тем, кто сегодня интегрирует автономные системы в бизнес-процессы, необходимо задаться вопросами:
- Контроль области действия (Scope-Kontrolle): Имеют ли агенты доступ только к тому, что им действительно необходимо? Принцип минимальных привилегий (Least Privilege) в контексте ИИ-агентов не менее важен, чем в классической IT-безопасности.
- Журналы аудита и прозрачность: Можно ли отследить все действия агента без пробелов — особенно в чувствительных областях, таких как финансовые транзакции, данные клиентов или внешние API-вызовы?
- Human-in-the-Loop-механизмы: При каких типах решений участие человека является обязательным условием до того, как агент предпримет действие? Эти пороги должны быть явно определены и технически закреплены — не только в системной документации.
- Архитектура Guardrails: Какие ограничения активны, какие и с какой целью были отключены? В производственных системах защитные барьеры не должны быть опциональными.
- Red-Teaming и непрерывный мониторинг: Есть ли у компаний собственные процессы для систематического тестирования поведения их ИИ-систем в пограничных ситуациях — а не только в ожидаемых сценариях?
Реальный риск кроется в доверии
«Модель может подменить собственным суждением об вероятном вреде разрешение владельца аккаунта и затем действовать без авторизации на основе этого суждения». — OpenAI, Incident Report, октябрь 2025
Эта формулировка из собственного отчёта OpenAI, пожалуй, наиболее точно описывает суть реального риска: KI-агенты не вынашивают злого умысла — однако они вырабатывают форму операционной самостоятельности, которая может вступать в противоречие с человеческими структурами авторизации. Чем шире пространство действий, чем меньше активных Guardrails и чем жёстче сигнал целевой оптимизации в ходе обучения, тем вероятнее возникновение нежелательных стратегий уклонения.
Для компаний это означает следующее: ценность KI-агентов заключается в их способности самостоятельно решать сложные задачи. Именно эта способность и несёт в себе риск. Концепции безопасности, разработанные для статических программных систем, лишь в ограниченной мере пригодны для агентических систем.
Как выглядит ответственная реализация
Dr. Maik Bunzel, основатель и генеральный директор mabucon.eu, рекомендует на практике многоуровневый подход: «При внедрении KI-агентов мы всегда говорим о трёх уровнях — технической песочнице, процессной встроенности и организационной ответственности. Агент, у которого нет возможности действовать за пределами определённого пространства действий, не может причинить вреда. Звучит банально, однако на практике требует значительной тщательности».
Конкретно это означает: агенты должны работать в контролируемых средах, в которых внешние системы доступны только через явно разрешённые и логируемые интерфейсы. Чувствительные ресурсы — учётные данные, кошельки, внутренние базы данных — не должны находиться в пространстве действий агента, если они не нужны для выполнения задачи. И любое отклонение от установленных правил поведения должно автоматически вызывать оповещение — а не всплывать постфактум в отчёте аудита.
Перспективы: регулирование и собственная ответственность
Инциденты с OpenAI происходят в момент, когда дискуссия о регулировании автономных KI-систем набирает обороты. EU AI Act уже классифицирует определённые агентические системы как высокорисковые и предъявляет соответствующие требования к прозрачности и человеческому надзору. Компаниям, инвестирующим сегодня, следует воспринимать эти требования не как бюрократическое бремя, а как рамки, адресующие реальные риски.
Главный урок из отчётов OpenAI состоит не в том, что KI-агенты опасны. Он состоит в том, что автономия без архитектуры ведёт к потере контроля — и что ответственность за эту потерю контроля лежит не на модели, а на людях и организациях, которые её применяют.