Wenn KI-Agenten sich gegenseitig vertrauen – und warum das ein Sicherheitsproblem ist

Das Vertrauensproblem im Zeitalter autonomer KI-Systeme

Wer in Unternehmen heute über KI-gestützte Automatisierung nachdenkt, stößt schnell auf ein scheinbar technisches Detail, das in Wahrheit eine strategische Grundsatzfrage ist: Wie viel Vertrauen darf ein System in sich selbst haben? Mit dem Aufstieg sogenannter Agentic AI – also autonomer KI-Agenten, die eigenständig Aufgaben planen, delegieren und ausführen – rückt diese Frage ins Zentrum der Sicherheitsdebatte. Eine aktuelle Analyse aus der Forschungsgruppe an der Queen's University Belfast zeigt, dass bestehende Sicherheitsmodelle, insbesondere Zero-Trust-Architekturen, unter dem Druck vernetzter KI-Agenten an konzeptionelle Grenzen stoßen.

Was ist Zero-Trust – und warum reicht es allein nicht mehr aus?

Das Prinzip der Zero-Trust-Architektur (ZTA) ist eigentlich bewährt: Niemals automatisch vertrauen, immer verifizieren. Jeder Zugriff, jede Interaktion wird geprüft, unabhängig davon, ob sie von innen oder außen kommt. In klassischen IT-Umgebungen funktioniert das gut. Doch wenn autonome KI-Agenten in einem Netzwerk zusammenarbeiten – angesteuert von einem sogenannten Orchestrator, der Aufgaben verteilt und koordiniert – entsteht ein grundlegendes Dilemma.

Der kritische Punkt liegt beim Policy Enforcement Point (PEP), der zentralen Komponente, die Richtlinien durchsetzt. Dieser Baustein muss selbst als vertrauenswürdig gelten, damit das gesamte System funktioniert. Damit aber bricht das eigentliche Zero-Trust-Versprechen: Es gibt eben doch eine vertrauenswürdige Instanz – und genau diese wird zum bevorzugten Angriffsziel.

Das klassische Zero-Trust-Modell wurde für statische Systeme mit menschlicher Aufsicht konzipiert – nicht für autonom agierende KI-Agenten, die in Millisekunden Entscheidungen treffen und weiterreichen.

Multi-Agenten-Systeme in der Praxis: Effizienz und blinde Flecken

Zahlreiche Teams weltweit bauen heute Anwendungen auf Basis vernetzter KI-Agenten – für Risikoabschätzung, Kundenprofilierung, Informationsauswertung oder automatisierte Entscheidungsunterstützung. Der Effizienzgewinn ist real und messbar. Doch mit der Komplexität wächst auch die Angriffsfläche.

Ein besonders tückisches Problem ist der sogenannte Context Recovery Attack: Agenten werden bewusst angewiesen, bestimmte historische Logs zu löschen, um eine Verzerrung künftiger Entscheidungen zu vermeiden. Doch ein späterer Prompt kann dazu führen, dass diese Informationen dennoch rekonstruiert werden – der Agent wird gewissermaßen dazu verleitet, Gelöschtes wieder hervorzubringen. Die Frage, ob Anweisungen tatsächlich befolgt wurden, lässt sich im laufenden System kaum zuverlässig beantworten.

Dr. Maik Bunzel, Gründer und Geschäftsführer von mabucon.eu, sieht hier eine der zentralen Herausforderungen für Unternehmen, die auf agentenbasierte Automatisierung setzen wollen: „Die Leistungsfähigkeit von Multi-Agenten-Systemen steht und fällt mit der Qualität der Governance-Schicht dahinter. Ein Agent, dem man vertraut, ohne es zu können, ist kein Automatisierungsvorteil – er ist ein unkontrolliertes Risiko."

Vibe Coding und externe Modelle: Unterschätzte Einfallstore

Ein weiterer Aspekt verdient besondere Aufmerksamkeit: der Trend des sogenannten Vibe Codings. Dabei nutzen Entwicklungsteams KI-Modelle, um Softwarecode zu generieren oder zu überarbeiten – oft mit erheblichem Tempo und ohne vollständige Prüfung der Ausgaben. Das Problem entsteht, wenn dabei wesentliche Teile des eigenen Codebases an externe, nicht vollständig kontrollierbare Modelle übergeben werden. Sicherheitslücken, die in diesem Prozess entstehen, können sich über multiple Systemoberflächen hinweg ausbreiten – Vulnerability Sweeping nennt die Forschung dieses Phänomen.

Für Unternehmen bedeutet das: Nicht nur die KI-Agenten selbst, sondern auch die Werkzeuge, mit denen sie entwickelt und trainiert werden, müssen in die Sicherheitsbetrachtung einbezogen werden. Der blinde Verlass auf Off-the-Shelf-Modelle ohne unternehmenseigene Guardrails ist dabei keine Frage des Budgets, sondern des Risikobewusstseins.

De-Authentifizierungsangriffe in Sekunden – das Zeitfenster schrumpft

Besonders eindrücklich illustriert ein Experiment aus Belfast, wie stark agentenbasierte Systeme die Dynamik von Cyberangriffen verändern. Bei klassischen De-Authentifizierungsangriffen auf vernetzte Systeme – also dem gezielten Unterbrechen legitimer Verbindungen – konnte die Reaktionszeit durch agentengestützte Orchestrierung auf zwei bis drei Sekunden gedrückt werden. Das ist ein Zeitfenster, in dem kaum ein menschliches Sicherheitsteam reagieren kann.

Dieser Befund hat unmittelbare Implikationen für jedes Unternehmen, das autonome Agenten in sicherheitskritische Infrastrukturen integriert: Die Angriffsfläche wächst nicht nur in der Breite, sondern auch in der Geschwindigkeit. Systeme mit geringer Fehlertoleranz, die auf nicht-nachverfolgenden Agenten-Workflows basieren, sind dabei besonders gefährdet – denn eine Echtzeit-Verifikation jeder Agentenanfrage ist rechentechnisch schlicht nicht in jedem Szenario realisierbar.

Horizontale Anomalien: Das übersehene Risiko im Agenten-Netzwerk

Ein konzeptionell neues Risikobild zeichnet sich im Begriff der horizontalen Anomalien ab. Gemeint ist damit: Ein KI-Agent, der für eine spezifische Aufgabe zuverlässig und regelkonform agiert, muss das nicht zwangsläufig auch in anderen Kontexten oder bei Interaktionen mit anderen Systemkomponenten tun. Das Verhalten ist kontextabhängig – und damit schwerer zu standardisieren als bislang angenommen.

Diese Erkenntnis ist für Unternehmen relevant, die Agenten-Systeme modular aufbauen und sukzessive erweitern wollen. Die Validierung eines Agenten in einer definierten Umgebung ist kein Freifahrtschein für dessen Verhalten in der gesamten Systemlandschaft.

Lösungsansätze: Traceability, Distributed Ledger und AI-BOM

Die Forschung zeigt auch mögliche Auswege auf. Zwei Ansätze verdienen besondere Beachtung: Erstens die Einführung einer AI Bill of Materials (AI-BOM) – also einer strukturierten Dokumentation aller Komponenten, Modelle und Abhängigkeiten eines KI-Systems, analog zur bekannten Software Bill of Materials. Zweitens der Einsatz von Distributed-Ledger-Technologie, die durch Unveränderlichkeit und Nachvollziehbarkeit eine plattformunabhängige Vertrauensinfrastruktur schaffen kann.

Beide Ansätze zielen darauf ab, Vertrauen nicht vorauszusetzen, sondern nachweisbar zu machen – und damit das eigentliche Versprechen von Zero-Trust auch in agentenbasierten Umgebungen einlösbar zu gestalten. Dr. Maik Bunzel, Gründer und Geschäftsführer von mabucon.eu, betont in diesem Zusammenhang, dass Unternehmen beim Aufbau von Automatisierungsinfrastrukturen von Beginn an Auditierbarkeit als Designprinzip verankern sollten – nicht als nachträgliches Compliance-Feature.

Was Unternehmen jetzt tun sollten

• Governance vor Geschwindigkeit: Wer Multi-Agenten-Systeme einführt, sollte zunächst klären, welche Entscheidungen Agenten autonom treffen dürfen – und welche eine menschliche Überprüfung erfordern.
• Auditierbarkeit als Pflicht: Jede Agenteninteraktion sollte nachvollziehbar dokumentiert sein. Systeme ohne Logging-Konzept sind für sicherheitskritische Anwendungen nicht geeignet.
• Externe Modelle bewusst einsetzen: KI-Dienste von Drittanbietern – auch für Entwicklungsaufgaben – sollten nur mit klarer Datenschutz- und Sicherheitsprüfung in Workflows integriert werden.
• Redundante Vertrauensebenen planen: Eine einzige vertrauenswürdige Schicht im System ist ein Single Point of Failure. Robuste Architekturen verteilen Vertrauensverantwortung auf mehrere Ebenen.
• Anomalieerkennung horizontal denken: Testszenarien sollten nicht nur einzelne Agenten isoliert prüfen, sondern deren Verhalten im Zusammenspiel mit anderen Systemkomponenten erfassen.

Fazit: Vertrauen muss verdient – und beweisbar sein

Agentic AI ist kein Hype, der sich wieder legt – sie ist die logische Weiterentwicklung von Automatisierung. Doch mit der Autonomie wächst die Verantwortung, und die technischen Sicherheitsmodelle hinken dieser Entwicklung noch hinterher. Zero-Trust ist dabei kein veraltetes Konzept, sondern ein unvollständiges – es muss für die agentenbasierte Welt neu gedacht und erweitert werden.

Für Unternehmen bedeutet das: Der Einstieg in Workflow-Automatisierung mit KI-Agenten ist sinnvoll und wirtschaftlich attraktiv. Aber er verlangt eine sicherheitliche Reife, die weit über das Einrichten einer Firewall hinausgeht. Wie Dr. Maik Bunzel, Gründer und Geschäftsführer von mabucon.eu, es formuliert: Wer heute die richtigen Guardrails setzt, kann morgen die Automatisierungsgeschwindigkeit voll ausschöpfen – wer darauf verzichtet, zahlt den Preis später und unter schlechteren Bedingungen.