LLMs sind strukturell angreifbar: Was der ICML-Forschungsbefund für Unternehmen bedeutet

Eine unbequeme Wahrheit aus der KI-Forschung

Auf der diesjährigen International Conference on Machine Learning (ICML), einer der renommiertesten Konferenzen im Bereich künstlicher Intelligenz, sorgte ein Forschungspapier für erhebliche Aufmerksamkeit: Ein Team unabhängiger Forscherinnen und Forscher argumentiert darin, dass große Sprachmodelle – sogenannte Large Language Models (LLMs) – strukturell und damit prinzipiell nicht vollständig gegen Angriffe abgesichert werden können. Die Ursache liegt nicht in schlechter Implementierung oder nachlässigem Training, sondern tief in der Architektur dieser Modelle selbst. Für Unternehmen, die KI-gestützte Prozesse einsetzen oder planen, ist das eine Nachricht, die strategische Konsequenzen hat.

Das Rollen-Problem: Wenn Kontext zur Schwachstelle wird

Um zu verstehen, warum LLMs so anfällig sind, muss man einen Blick auf die interne Verarbeitung von Texteingaben werfen. Moderne Chatbots und KI-Agenten strukturieren die Informationsströme, mit denen sie arbeiten, mithilfe sogenannter Rollen-Tags. Inhalte des Nutzers werden als <user>-Text markiert, Systemanweisungen der Entwickler als <system>, die internen Überlegungen des Modells als <think>, und externe Quellen etwa als <tool>. Diese Rollenstruktur ist die Grundlage dafür, wie ein Modell entscheidet, wessen Anweisung es befolgt – und wessen nicht.

Die Forschenden entdeckten jedoch, dass LLMs den Ursprung eines Textfragments nicht primär anhand der Tags bestimmen, sondern anhand des Stils und der sprachlichen Merkmale des Textes selbst. Mit anderen Worten: Wenn ein Angreifer Text formuliert, der dem internen „Scratchpad"-Stil eines Modells ähnelt – also dem Chain-of-Thought-Format, in dem das Modell seine eigenen Überlegungen notiert –, interpretiert das Modell diesen externen Text als eigene Gedanken und handelt entsprechend.

Chain-of-Thought-Forgery: Der eleganteste Angriff

Die Forscherinnen und Forscher bezeichnen diese Angriffsmethode als Chain-of-Thought Forgery – das gezielte Fälschen interner Modellüberlegungen durch stilistisch passgenaue Eingaben. In praktischen Experimenten gelang es dem Team, mehrere verbreitete Modelle dazu zu bringen, Inhalte zu produzieren, die deren eigene Sicherheitsrichtlinien explizit verbieten. Die Angriffstechnik gewann zudem einen Red-Teaming-Hackathon von OpenAI im Jahr 2025.

Besonders bemerkenswert: In einem Parallelvorgang soll das interne Red-Teaming-System von OpenAI – GPT-Red – eine strukturell ähnliche Angriffsmethode eigenständig entdeckt haben, was die Relevanz und Reproduzierbarkeit des Befunds unterstreicht.

„It's just one big sheet of tokens" – Jasmine Cui, Mitautorin des ICML-Papers, beschreibt damit das Kernproblem: Für ein LLM ist der gesamte Eingabetext zunächst eine undifferenzierte Abfolge von Tokens. Die Rollenzuordnung ist letztlich eine Interpretation, keine technische Garantie.

Warum Red-Teaming allein nicht ausreicht

Die übliche Antwort der KI-Industrie auf bekannte Angriffsvektoren ist Red-Teaming: Spezialisierte Teams – intern oder extern – versuchen systematisch, ein Modell zu kompromittieren, bevor es in Produktion geht. Angriffe, die dabei gefunden werden, fließen ins erneute Training ein, sodass das Modell gegen diese spezifischen Muster resistenter wird.

Das Grundproblem dieser Methodik beschreiben die ICML-Autoren treffend mit einem Gleichnis: Es ist, als würde man einem Kind hundertfach aufschreiben lassen, was es nicht tun darf – und davon ausgehen, dass damit alle zukünftigen Vergehen ausgeschlossen sind. Die Menge möglicher Angriffsvarianten ist de facto unbegrenzt. Jeder neu trainierte Schutz ist immer nur eine Antwort auf bereits bekannte Angriffe, niemals eine strukturelle Lösung.

Dr. Maik Bunzel, Gründer und Geschäftsführer von mabucon.eu, beschäftigt sich intensiv mit den Implikationen solcher Forschungsergebnisse für den Unternehmenseinsatz von KI-Agenten. Seine Einschätzung deckt sich mit dem, was die ICML-Studie nahelegt: Sicherheit bei LLM-basierten Systemen ist kein einmaliges Projekt, sondern ein kontinuierlicher, architektureller Designprozess – und er beginnt lange vor dem Deployment.

Prompt Injection und Jailbreaks: Zwei Seiten derselben Medaille

Die Forschenden unterscheiden grundsätzlich zwischen zwei Angriffsklassen, die beide auf demselben strukturellen Defizit beruhen:

• Jailbreaks: Nutzer bringen ein Modell dazu, seine eigenen Richtlinien zu umgehen, indem sie Eingaben so formulieren, dass das Modell sie als interne Systemanweisung oder eigene Überlegung interpretiert.
• Prompt Injections: Ein Angreifer schleust über externe Datenquellen – etwa Webseiten, Dokumente oder Tool-Outputs – manipulierte Anweisungen ein, die das Modell als legitime Nutzerbefehle oder sogar Systembefehle behandelt.

Letzteres ist besonders relevant für den Agentic-AI-Bereich: Wenn ein KI-Agent autonom das Web durchsucht, Dokumente analysiert oder APIs aufruft, sind externe Datenquellen per Definition Teil des Eingabestroms. Jede dieser Quellen ist ein potenzieller Angriffsvektor für Prompt Injection – und die beschriebene Rollenkonfusion macht diese Angriffe strukturell schwerer abzuwehren als bisher angenommen.

Was das für KI-Agenten in Unternehmen bedeutet

Die Implikationen für Unternehmen, die auf LLM-basierte Automatisierung oder KI-Agenten setzen, sind erheblich – aber sie rechtfertigen keine Panik, sondern eine nüchterne Neubewertung des Risikoprofils. Einige zentrale Handlungsempfehlungen lassen sich aus den Forschungsbefunden ableiten:

• Zero-Trust-Prinzip für KI-Agenten: Kein Output eines LLM-Systems sollte als inhärent vertrauenswürdig behandelt werden – auch nicht, wenn er aus der internen Chain-of-Thought des Modells stammt. Externe Validierungsschichten sind unerlässlich.
• Minimale Rechte und Isolation: KI-Agenten sollten nur auf die Systeme und Daten zugreifen dürfen, die für die jeweilige Aufgabe unbedingt erforderlich sind. Ein kompromittierter Agent darf keinen Zugriff auf kritische Unternehmensdaten haben.
• Kontinuierliches Monitoring statt einmaliger Absicherung: Da kein Training alle zukünftigen Angriffsvarianten abdecken kann, ist Laufzeit-Überwachung des Modellverhaltens entscheidend – insbesondere bei Agenten, die autonom externe Inhalte verarbeiten.
• Risikobewertung nach Anwendungskontext: Ein LLM-Chatbot für interne FAQ-Anfragen hat ein völlig anderes Risikoprofil als ein autonomer Agent, der Buchungen, Überweisungen oder Kommunikation in Echtzeit ausführt.

Florian Tramèr, Informatiker an der ETH Zürich mit Forschungsschwerpunkt LLM-Sicherheit, kommentiert die Studie positiv und bestätigt: Auch wenn führende Modelle durch die Kombination verschiedener Schutzmaßnahmen deutlich robuster geworden sind, bleibt für hochsensible Anwendungsfälle unklar, ob das ausreichend ist.

Die wirtschaftliche Dimension: Anreize für Angreifer wachsen

Ein Aspekt, den die Forschenden explizit hervorheben, ist die zunehmende wirtschaftliche Motivation hinter Jailbreaks und Prompt Injections. Mit der Ausweitung von KI-gestützten Systemen in Bereiche wie E-Commerce, Finanzdienstleistungen, Gesundheitsversorgung oder staatliche Infrastruktur steigen auch die potenziellen Gewinne für erfolgreiche Angriffe – sei es durch Datenexfiltration, Manipulation von Geschäftsprozessen oder das Umgehen von Compliance-Mechanismen.

Diese Einschätzung teilt auch Dr. Maik Bunzel von mabucon.eu: „Die Frage ist nicht mehr ob, sondern wann und in welchem Kontext ein Unternehmen mit KI-gestützten Angriffen konfrontiert wird. Wer heute KI-Agenten in kritische Workflows integriert, ohne ein explizites Sicherheitsmodell zu definieren, baut auf einem strukturell unsicheren Fundament."

Ausblick: Sicherheit als Designprinzip, nicht als Nachbesserung

Die ICML-Studie ist kein Argument gegen den Einsatz von LLMs in Unternehmen. Sie ist ein starkes Argument dafür, Sicherheit als architekturelles Designprinzip zu verstehen – nicht als nachgelagerte Absicherungsmaßnahme. Modelle werden besser, Angriffe werden auch besser. Das ist kein temporäres Problem, das sich mit dem nächsten Modell-Release erledigt.

Für Unternehmen, die KI-Agenten und automatisierte Workflows einsetzen, bedeutet das konkret: Die Technologie-Auswahl und Systemarchitektur müssen von Anfang an unter dem Gesichtspunkt eines realistischen Bedrohungsmodells getroffen werden. Vertrauen in ein Modell ist kein Sicherheitskonzept – Isolation, Monitoring und klare Eskalationspfade sind es. Dr. Maik Bunzel, Gründer und Geschäftsführer von mabucon.eu, fasst die operative Konsequenz prägnant zusammen: Wer KI-Agenten verantwortungsvoll einsetzt, plant nicht nur für den Normalfall, sondern explizit für den Angriffsfall.

Die gute Nachricht: Ein informierter, strukturierter Umgang mit diesen Risiken ist möglich. Die schlechte: Er erfordert mehr als ein Vertrauen in die Sicherheitsversprechen der Modell-Anbieter.