LLMs er strukturelt sårbare: Hvad ICML-forskningsfundet betyder for virksomheder
En ubehagelig sandhed fra KI-forskningen
På årets International Conference on Machine Learning (ICML), en af de mest anerkendte konferencer inden for kunstig intelligens, vakte et forskningspapir betydelig opmærksomhed: Et team af uafhængige forskere argumenterer heri for, at store sprogmodeller – såkaldte Large Language Models (LLMs) – strukturelt og dermed principielt ikke kan sikres fuldstændigt mod angreb. Årsagen ligger ikke i dårlig implementering eller sjusket træning, men dybt i selve arkitekturen bag disse modeller. For virksomheder, der anvender eller planlægger at anvende KI-drevne processer, er det en nyhed med strategiske konsekvenser.
Rolleproblemet: Når kontekst bliver en sårbarhed
For at forstå, hvorfor LLMs er så sårbare, må man kaste et blik på den interne behandling af tekstinput. Moderne chatbots og KI-agenter strukturerer de informationsstrømme, de arbejder med, ved hjælp af såkaldte rolle-tags. Brugerindhold markeres som <user>-tekst, udviklerens systeminstruktioner som <system>, modellens interne overvejelser som <think>, og eksterne kilder eksempelvis som <tool>. Denne rollestruktur er grundlaget for, hvordan en model afgør, hvis instruktion den følger – og hvis ikke.
Forskerne opdagede imidlertid, at LLMs bestemmer et tekstfragments oprindelse ikke primært ud fra tags, men ud fra tekstens stil og sproglige kendetegn. Med andre ord: Hvis en angriber formulerer tekst, der ligner en models interne "scratchpad"-stil – altså det Chain-of-Thought-format, hvori modellen noterer sine egne overvejelser –, fortolker modellen denne eksterne tekst som sine egne tanker og handler derefter.
Chain-of-Thought-Forgery: Det mest elegante angreb
Forskerne betegner denne angrebsmetode som Chain-of-Thought Forgery – den målrettede forfalskning af interne modelovervejelser via stilistisk præcist tilpassede input. I praktiske eksperimenter lykkedes det teamet at få flere udbredte modeller til at producere indhold, som deres egne sikkerhedspolitikker eksplicit forbyder. Angrebsteknikken vandt desuden et Red-Teaming-hackathon arrangeret af OpenAI i 2025.
Særligt bemærkelsesværdigt: I et parallelt forløb skal OpenAIs interne Red-Teaming-system – GPT-Red – selv have opdaget en strukturelt lignende angrebsmetode, hvilket understreger fundets relevans og reproducerbarhed.
„It's just one big sheet of tokens" – Jasmine Cui, medforfatter til ICML-papiret, beskriver dermed kerneproblemet: For et LLM er hele inputteksten i udgangspunktet en udifferentieret sekvens af tokens. Rolletildelingen er i sidste ende en fortolkning, ikke en teknisk garanti.
Hvorfor Red-Teaming alene ikke er tilstrækkeligt
Det sædvanlige svar fra KI-industrien på kendte angrebsvektorer er Red-Teaming: Specialiserede teams – interne eller eksterne – forsøger systematisk at kompromittere en model, før den sættes i produktion. Angreb, der opdages undervejs, indgår i fornyet træning, så modellen bliver mere modstandsdygtig over for disse specifikke mønstre.
Grundproblemet med denne metodik beskriver ICML-forfatterne præcist med en lignelse: Det er, som om man lader et barn skrive hundrede gange, hvad det ikke må gøre – og går ud fra, at alle fremtidige forseelser dermed er udelukket. Mængden af mulige angrebsvarianter er de facto ubegrænset. Enhver nyligt trænet beskyttelse er altid kun et svar på allerede kendte angreb, aldrig en strukturel løsning.
Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, beskæftiger sig intenst med implikationerne af sådanne forskningsresultater for virksomheders brug af KI-agenter. Hans vurdering stemmer overens med det, ICML-studiet antyder: Sikkerhed i LLM-baserede systemer er ikke et engangsprojekt, men en kontinuerlig, arkitekturel designproces – og den begynder længe før deployment.
Prompt Injection og Jailbreaks: To sider af samme sag
Forskerne skelner grundlæggende mellem to angrebsklasser, der begge bygger på det samme strukturelle underskud:
- Jailbreaks: Brugere får en model til at omgå sine egne retningslinjer ved at formulere input på en måde, så modellen fortolker dem som interne systemanvisninger eller egne overvejelser.
- Prompt Injections: En angriber indsmugler via eksterne datakilder – f.eks. websider, dokumenter eller Tool-Outputs – manipulerede anvisninger, som modellen behandler som legitime brugerkommandoer eller endda systemkommandoer.
Sidstnævnte er særligt relevant for Agentic AI-området: Når en KI-agent autonomt gennemsøger nettet, analyserer dokumenter eller kalder APIs, er eksterne datakilder per definition en del af inputstrømmen. Enhver af disse kilder er en potentiel angrrebsvektor for Prompt Injection – og den beskrevne rolleforvirring gør disse angreb strukturelt sværere at afværge, end man hidtil har antaget.
Hvad det betyder for KI-agenter i virksomheder
Implikationerne for virksomheder, der satser på LLM-baseret automatisering eller KI-agenter, er betydelige – men de berettiger ikke til panik, snarere til en nøgtern genvurdering af risikoprofilen. Nogle centrale handlingsanbefalinger kan udledes af forskningsresultaterne:
- Zero-Trust-princippet for KI-agenter: Ingen output fra et LLM-system bør behandles som inherent troværdigt – heller ikke selv om det stammer fra modellens interne Chain-of-Thought. Eksterne valideringslag er uundværlige.
- Minimale rettigheder og isolation: KI-agenter bør kun have adgang til de systemer og data, der er absolut nødvendige for den pågældende opgave. En kompromitteret agent må ikke have adgang til kritiske virksomhedsdata.
- Kontinuerlig overvågning frem for engangsssikring: Da ingen træning kan dække alle fremtidige angrebsvarianter, er overvågning af modeladfærd under kørsel afgørende – særligt for agenter, der autonomt behandler eksternt indhold.
- Risikovurdering efter anvendelseskontekst: En LLM-chatbot til interne FAQ-forespørgsler har et helt andet risikoprofil end en autonom agent, der udfører bookinger, overførsler eller kommunikation i realtid.
Florian Tramèr, datalog ved ETH Zürich med forskningsmæssigt fokus på LLM-sikkerhed, kommenterer studiet positivt og bekræfter: Selv om de førende modeller er blevet betydeligt mere robuste gennem kombinationen af forskellige beskyttelsesforanstaltninger, er det fortsat uklart, om det er tilstrækkeligt for højt følsomme anvendelsestilfælde.
Den økonomiske dimension: Incitamenterne for angribere vokser
Et aspekt, som forskerne eksplicit fremhæver, er den stigende økonomiske motivation bag jailbreaks og Prompt Injections. I takt med at KI-understøttede systemer breder sig til områder som e-handel, finansielle tjenesteydelser, sundhedspleje eller statslig infrastruktur, stiger de potentielle gevinster ved vellykkede angreb ligeledes – hvad enten det sker gennem dataeksfiltrering, manipulation af forretningsprocesser eller omgåelse af compliance-mekanismer.
Denne vurdering deler Dr. Maik Bunzel fra mabucon.eu også: „Spørgsmålet er ikke længere om, men hvornår og i hvilken kontekst en virksomhed vil blive konfronteret med KI-understøttede angreb. Den, der i dag integrerer KI-agenter i kritiske workflows uden at definere en eksplicit sikkerhedsmodel, bygger på et strukturelt usikkert fundament."
Udsigt: Sikkerhed som designprincip, ikke som efterbedring
ICML-studiet er ikke et argument imod anvendelsen af LLMs i virksomheder. Det er et stærkt argument for at forstå sikkerhed som et arkitekturelt designprincip – ikke som en efterfølgende sikringsforanstaltning. Modeller bliver bedre, angreb bliver også bedre. Det er ikke et midlertidigt problem, der løser sig med næste model-release.
For virksomheder, der anvender KI-agenter og automatiserede workflows, betyder det konkret: Teknologivalg og systemarkitektur skal fra begyndelsen træffes ud fra en realistisk trusselsmodel. Tillid til en model er ikke et sikkerhedskoncept – isolation, overvågning og klare eskaleringsforløb er det. Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, opsummerer den operative konsekvens præcist: Den, der anvender KI-agenter på ansvarlig vis, planlægger ikke kun for normaltilstanden, men eksplicit for angrebstilfældet.
Den gode nyhed: En informeret, struktureret tilgang til disse risici er mulig. Den dårlige: Den kræver mere end tillid til modelleverandørernes sikkerhedsløfter.