Human-in-the-Loop som illusion: Hvorfor oversight af KI-agenter fejler i praksis

Illusionen om kontrol: Når oversight-systemer virker modsat hensigten

Den, der anvender KI-agenter i virksomheden, beroliger sig gerne med en tilsyneladende simpel sikkerhedsgaranti: Mennesket har det sidste ord. Såkaldte Human-in-the-Loop-mekanismer (HITL) betragtes som det centrale skjold mod autonome systemer, der handler ukontrolleret. Men en gruppe ledende KI-etikerforskere – heriblandt Avijit Ghosh fra Hugging Face og Margaret Mitchell, Chief Ethics Scientist samme sted – har i et meget omtalt papir på ArXiv fremsat en ubehagelig tese: Den måde, disse kontrolmekanismer implementeres på i dag, skubber faktisk mennesker ud af beslutningsløkken i stedet for at holde dem inde i den.

Det lyder paradoksalt, men er ved nærmere eftersyn foruroligende forståeligt. Mennesket, som Ghosh formulerer det præcist, reduceres til et „meat tool" – et biologisk redskab, der giver godkendelser uden at besidde den kognitive kapacitet til virkelig at gennemtænke disse beslutninger. Det er ingen abstrakt fremtidsvision. Det er et fænomen, der allerede i dag kan observeres i produktive systemer.

Cognitive Surrender: Hvordan automatisering undergraver tænkningen

For at forstå, hvorfor velmenende oversight-mekanismer løber ud i sandet, må man tage højde for psykologien bag menneske-maskine-interaktionen. Forskerne identificerer flere kognitive fælder, som menneskelige overvågere typisk falder i:

• Automation Bias: Brugere accepterer systemforslag, selv når disse er dokumenteret forkerte – simpelthen fordi en algoritme har genereret dem.
• Anchoring Bias: Så snart en KI-agent præsenterer en beslutning, bliver denne det implicitte referencepunkt. Alternativer overvejes næppe seriøst længere.
• Kognitiv udmattelse: Den, der skal godkende hundredvis af agenthandlinger om dagen, skifter på et tidspunkt til autopilot. Kritisk eftertanke koster energi – at nikke ja gør det ikke.
• KI-Sycophancy: Mange agentsystemer bekræfter aktivt over for brugerne, at de gør et godt stykke arbejde. Denne kunstige bekræftelse underminerer præcis den sunde skepsis, der som det første muliggør effektivt tilsyn.

Hertil kommer det rene volumen som en yderligere forværrende faktor: Autonome agenter producerer datastrømme, logs og beslutningsstier i en hastighed og mængde, der simpelthen overvælder menneskelig kognition. Som illustration kan nævnes den ofte citerede Hugging Face-hændelse, hvor over tusinde koordineret agerende bots inden for kort tid genererede mere end en million beskeder – en datamængde, der er helt ubehandlelig for menneskelige reviewere.

Et velkendt problem i ny forklædning

Det, som KI-industrien opdager som et nyt dilemma, er velkendt terræn for forskere fra tilgrænsende discipliner. Mary L. Cummings, direktør for Autonomy and Robotics Center ved George Mason University, har i årtier undersøgt, hvordan mennesker interagerer med autonome systemer – fra militære droner til selvkørende køretøjer. Hendes vurdering er direkte: KI-branchen kommer sent til festen, når det gælder kognitiv ergonomi og Human Factors Engineering.

Disse paralleller er særdeles relevante for virksomheder, der implementerer KI-agenter. Den, der tror, at man bevarer reel kontrol med en simpel "Approve"-knap i en agentgrænseflade, undervurderer systematisk, hvordan automatisering gradvist eroderer den menneskelige dømmekraft. Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, understreger i sit rådgivningsarbejde regelmæssigt, at forskellen mellem et virkningsfuldt og et farligt KI-agent-deployment ofte ikke ligger i teknologien, men i udformningen af menneske-system-grænsefladen og den organisatoriske struktur omkring den.

Productive Friction: Friktion som designprincip

Forskerne foreslår som modtræk et konceptuelt modigt skridt: bevidst indbygget Friction – friktion – i samspillet mellem menneske og KI-agent. Det lyder ved første øjekast kontraintuitivt, da agenter jo netop skal accelerere og forenkle processer. Men det er præcis her problemet ligger: Systemer, der primært er optimeret til hastighed, gennemløb og benchmark-performance, behandler menneskers oversight-behov som en eftertanke.

Konkrete tilgange, som forfatterne foreslår:

• Inden en agent afslører sin egen plan, bør den menneskelige overvåger opfordres til at dokumentere sin egen vurdering af næste skridt – for at fremtvinge selvstændig tænkning.
• Efter en godkendelse kunne agenten aktivt spørge: „Hvilken evidens ville ændre din mening?" – et målrettet angreb på Automation Bias.
• Hvis en bruger dokumenteret bruger stadig mindre tid på at gennemgå enkelte handlinger, kunne systemet tilpasse sin adfærd eller iværksætte en eskalering.
• Organisationer bør sikre, at medarbejdere regelmæssigt udfører opgaver uden agent-støtte – for at undgå at egne handlingskompetencer og dømmekraft atrofierer.

„Safety and capability don't have to be separate things. Safety only makes things slower when it's tacked on, outside of the core technology." — Margaret Mitchell, Chief Ethics Scientist, Hugging Face

Dette citat rammer kernen: Sikkerhed, der efterfølgende lægges oven på et system, koster faktisk hastighed og effektivitet. Sikkerhed, der er indbygget i systemarkitekturen fra begyndelsen, er ikke en modsætning til ydeevne – den er en bestanddel af den.

Implikationer for virksomheder: Hvad betyder det i praksis?

For virksomheder, der integrerer KI-agenter i deres workflows eller planlægger at gøre det, giver denne debat anledning til konkrete indsatsområder. Det første skridt er en nøgtern statusopgørelse: Hvilke af de eksisterende oversight-mekanismer er reelt virkningsfulde – og hvilke eksisterer kun på papiret?

Særligt kritisk er spørgsmålet om, hvem i virksomheden der på hvilket tidspunkt fagligt kan vurdere hvilken type agent-beslutninger. Mange HITL-implementeringer forudsætter stiltiende, at den menneskelige reviewer besidder domæneviden, tid og kognitiv kapacitet – en antagelse, der i praksis sjældent er fuldt opfyldt. Dr. Maik Bunzel fra mabucon.eu påpeger, at robuste agent-deployments ikke kun skal besvare tekniske, men frem for alt organisatoriske spørgsmål: Hvem er ansvarlig for hvilke agentbeslutninger? Hvordan defineres eskalationsveje? Og hvordan sikres det, at menneskelige reviewers ikke blot falder ind i en klik-rytme?

Derudover bør virksomheder stille spørgsmålet, om løftet om øget produktivitet gennem agent-delegation rent faktisk indfries, når man medregner omkostningerne til fejlrettelse, efterkontrol og potentielle compliance-risici. Forskningen tyder på, at den tid, der spares ved hjælp af agenter, hurtigt kan blive opvejet af den tid, der bruges på at udbedre ukontrollerede agentfejl.

Fremtidsperspektiv: Den der former kontrollen, beholder den

Debatten om Human-in-the-Loop er ingen akademisk fingerøvelse. Den vil i de kommende år blive et centralt spørgsmål inden for KI-governance i virksomheder – senest når regulatoriske krav som EU AI Act får mere konkret gennemslagskraft og kræver ansvarlighed for automatiserede beslutninger.

Hvad forskningen utvetydigt viser: Det blotte tilstedeværelse af en godkendelsesknap gør ikke en KI-agent til et kontrollerbart system. Reel menneskelig kontrol kræver systemdesign, der tager kognitive realiteter alvorligt, organisationsstrukturer, der ikke oversvømmer reviewers med beslutningsvolumen, og en virksomhedskultur, der belønner kritisk stillingtagen frem for at bremse den.

Virksomheder, der i dag investerer i KI-agent-systemer og behandler det menneskelige kontrollag som et efterfølgende compliance-afkrydsningsfelt, risikerer i morgen præcis den ukontrollerede systemadfærd, som de med "Human in the Loop" egentlig ønskede at forhindre. Den der derimod tænker oversight ind som designprincip fra begyndelsen – inklusive den ubehagelige friktion, det medfører – skaber grundlaget for agent-systemer, der rent faktisk holder, hvad de lover. Som Dr. Maik Bunzel, grundlægger og direktør for mabucon.eu, opsummerer: Tillid til autonome systemer opstår ikke gennem teknologi alene, men gennem kvaliteten af grænsefladen mellem menneske og maskine – og det er en designopgave, ikke en selvfølgelighed.