Evalueringsgabet: Hvorfor virksomheder stoler mere på KI-agenter end på deres egne tests

Tillidsparadokset i de autonome KI-agenters tidsalder

Tallene lyder abstrakte ved første øjekast, men rammer kernen af et af de mest presserende problemer i moderne KI-udvikling: Hver anden virksomhed har i løbet af de seneste tolv måneder sat en KI-agent eller et LLM-feature i produktion, som havde bestået alle interne evalueringer – og som efterfølgende fejlede i en kundevendt situation. Samtidig planlægger to tredjedele af de adspurgte organisationer at bruge netop disse utilstrækkeligt pålidelige evalueringer som eneste frigivelseskriterium fremover – helt uden menneskelig kontrolinstans. Dette paradoks, som en aktuel undersøgelse blandt 157 virksomheder dokumenterer, markerer et kritisk vendepunkt for virksomheders brug af KI.

Det er ikke et marginalt problem for tekniske teams. Det er en strukturel risiko, der vokser eksponentielt i betydning i takt med den stigende agentautonomi. Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, sætter dette fund i et pragmatisk perspektiv: „Det egentlige problem er ikke, at evalueringer mangler – de fleste virksomheder gennemfører dem. Problemet er, at målekriterierne ikke bliver afstemt med det, der reelt tæller i den virkelige verden: kunderesultat, processtabilitet og forretningsmæssigt outcome."

Hvad "Evaluation Gap" faktisk betyder

Begrebet Evaluation Gap beskriver afstanden mellem to udviklinger, der bevæger sig i modsatte retninger: Den autonomi, virksomheder tildeler deres KI-agenter, vokser kontinuerligt. Tilliden til de tests, der skal sikre denne autonomi, stagnerer eller falder endda. Resultatet er en åbnende saks – og i midten befinder sig kunder, forretningsprocesser og omdømme.

• 50 procent af de virksomheder, der gennemfører evalueringer, har mindst én gang frigivet en agent, som efterfølgende fejlede over for kunder.
• 24 procent har oplevet denne fejl mere end én gang – en indikation på, at der er tale om strukturelle, ikke tilfældige årsager.
• Kun 5 procent har fuld tillid til automatiserede evalueringer.
• 29 procent nævner som den hyppigste svaghed: evalueringsresultater afspejler ikke de reelle resultater.

Disse tal illustrerer, at den udbredte tilgang – at teste en agent mod et testdatasæt eller et benchmark-set og deploye den, når testen er bestået – er fundamentalt utilstrækkelig. Benchmarks måler det, der forekommer i benchmarks. Det, kunder rent faktisk oplever, er en anden dimension.

Autonomieskaleringen: hast uden sikring

Særligt sigende er den retning, som de adspurgte virksomheder bevæger sig i. På trods af den udbredte mistillid til automatiserede evalueringer:

• 34 procent tillader allerede i dag fuldt automatiserede deployments uden menneskelig godkendelse – i hvert fald for agenter klassificeret som „lavrisiko".
• 33 procent bygger aktivt mod netop denne infrastruktur med målet om at nå dertil inden for tolv måneder.
• Kun 22 procent udelukker et fuldt automatiseret deployment i overskuelig fremtid.

Det, der gør disse tal særligt bekymrende, er: Større virksomheder er længere fremme på denne vej end mindre. Den udbredte antagelse om, at regulerede eller ressourcestærke organisationer agerer mere forsigtigt og i længere tid baserer sig på menneskelig overvågning, bekræftes ikke af disse data. Tværtimod – større virksomheder har hyppigere oplevet evalueringsfejl i produktion og driver alligevel automatiseringen af godkendelsesprocesserne mere aggressivt frem.

Autonomien kommer hurtigere end sikringen. Den sætning beskriver præcist den mekanisme, hvorigennem enkeltstående fejl bliver til systemiske risici.

Fragmenteret værktøjslandskab: Ingen har løst problemet

Et yderligere fund understreger feltets umodenhed: De fleste virksomheder anvender de native evalueringsværktøjer fra den respektive modeludbyder – eller har slet intet dedikeret evalueringsværktøj. Begge grupper udgør omkring 17 procent. Kun cirka en fjerdedel af virksomhederne gennemfører realtidskvalitetskontroller på live-produktionstrafik.

Denne fragmentering er ingen tilfældighed. Den afspejler tilstanden i et markedssegment, der stadig befinder sig i sin opståelsesfase. LLM-Observability, Agent-Tracing, produktionsmonitorering – alle disse discipliner eksisterer, men er hverken standardiserede eller bredt etablerede. Virksomheder bygger på et fundament, hvis bæreevne de selv sætter spørgsmålstegn ved.

På baggrund af erfaring med agentimplementering understreger Dr. Maik Bunzel fra mabucon.eu, at netop dette punkt ofte undervurderes: „Mange virksomheder investerer betydeligt i udviklingen og træningen af deres agenter, men næsten intet i den infrastruktur, der sikrer, at disse agenter i hverdagen fungerer som ønsket. Det hævner sig senest, når en agent fejler i en kundedialog eller i et kritisk workflow."

Hvorfor "lav risiko" er en vildledende kategori

Et konceptuelt problem fortjener særlig opmærksomhed: kategorien "low-risk agents", for hvilke fuldt automatiserede deployments allerede tillades i flertallet af tilfælde. Hvad der anses for lav risiko, defineres i praksis af de teams, der bygger agenten – og denne definition kontrolleres sjældent systematisk eller knyttes til reelle skadescenarier.

En agent, der klassificerer e-mails, virker harmløs. Men hvis den fejlklassificerer i et volumen af tusindvis af hændelser dagligt, og disse fejlklassifikationer udløser efterfølgende processer, er den kumulative risiko betydelig. Autonomi skalerer fejl – det er den egentlige fare, der gemmer sig bag undersøgelsesresultaterne.

• Evalueringer tester isolerede færdigheder, ikke systemiske konsekvenser.
• "Bestået" tests måler performance op mod kendte scenarier – ikke op mod det ukendte i reelle inputs.
• Uden produktionsmonitorering forbliver det uklart, om en agent efter deployment opererer på samme måde som under evalueringsfasen.

Hvad virksomheder konkret kan gøre nu

Fundene kræver ikke en tilbagevenden til manuelle processer eller en opbremsning af KI-adoptionen. De kræver en anden form for modenhed: den infrastruktur, der gør det muligt at skalere autonomi på ansvarlig vis. For virksomheder, der integrerer KI-agenter i operative processer, tegner der sig konkrete handlingsfelter:

• Evaluering forbundet med produktionsvirkelighed: Offline-benchmarks skal suppleres med kontinuerlig overvågning af reelle produktionsdata. Shadow-deployments, A/B-tests og automatiseret anomalidetektion på live-trafik er ikke luksusfunktioner, men operative nødvendigheder.
• Risikoklassifikationer formaliseres: Det, der betragtes som „lavrisiko", kræver en eksplicit, sporbar definition – bundet til skadescenarier, sagsvolumen og proceskritikalitet, ikke til subjektive vurderinger.
• Human-in-the-Loop placeres målrettet: Mennesket behøver ikke være til stede overalt, men det skal være til stede der, hvor evalueringer påviseligt er svage. Det kræver gennemsigtighed om, hvor evalueringer fejler – hvilket igen forudsætter explainability i evalueringsprocessen.
• Tooling diversificeres: Afhængigheden af native modeludbyder-Evals er en strukturel risiko. Udbyder-uafhængige evaluerings- og overvågningsløsninger muliggør mere konsistente standarder på tværs af forskellige modeller og agenter.

Udsyn: Det næste modenhedsniveau for autonome systemer

Evaluation Gap er ingen uundgåelig skæbne. Det er konsekvensen af et specifikt valg: at tildele autonomi tidligere, end de systemer, der skal sikre denne autonomi, er produktionsklare. Denne beslutning træffes ofte under konkurrencepres – den der deployer langsommere, taber til konkurrenterne, lyder logikken.

Hvad denne logik overser: En agent, der gentagne gange fejler i produktion, skaber ikke kun umiddelbar skade. Den underminerer den institutionelle tillid til KI-understøttede processer som helhed – og gør fremtidig adoption sværere, ikke lettere. De virksomheder, der nu investerer i robust evaluerings- og overvågningsinfrastruktur, skaber forudsætningen for, at agentautonomi er bæredygtig på lang sigt.

Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, opsummerer den strategiske konsekvens: „Vi befinder os på et tidspunkt, hvor den tekniske gennemførlighed af KI-agenter forudgriber organisationernes evne til at styre dem. Konkurrencefordelen i de kommende år ligger ikke i at deploye agenter hurtigere – men i at deploye dem på en måde, så de pålideligt leverer det, de er bygget til." Evaluation Gap kan løses. Men det løser sig ikke af sig selv.