JudgeGPT: Hvad Pakistans eksperiment lærer os om KI-agenter i regulerede højrisikoområder

Når KI dømmer – men gør det rigtigt: JudgeGPT-eksperimentet fra Pakistan

Dommere, der i hemmelighed bruger ChatGPT og citerer opfundne afgørelser – sådanne overskrifter har i høj grad skadet tilliden til KI inden for retsvæsenet. Desto mere bemærkelsesværdigt er et storstilet felteksperiment fra Pakistan, som nu beskrives i fagbladet IEEE Spectrum: Under realistiske betingelser, med rigtige dommere og rigtige sager, lykkedes det et specialudviklet KI-værktøj at øge sagsafslutningsraten med 6,3 procent – uden målbare kvalitetsforringelser i afgørelserne. For virksomheder, der ønsker at anvende KI i følsomme forretningsprocesser, leverer dette eksperiment en række højst relevante indsigter.

Et system under pres – og et præcist tilpasset KI-værktøj

Pakistans retsvæsen er under enormt pres: 2,26 millioner ubehandlede sager, færre end to dommere per 100.000 indbyggere (til sammenligning: 22 i EU, otte i Brasilien). Økonomiprofessor Sultan Mehmood fra New Economic School i Moskva udviklede sammen med Elliott Ash fra ETH Zürich og yderligere forskere i tæt samarbejde med det pakistanske retsvæsen et værktøj ved navn JudgeGPT.

Det tekniske grundlag: OpenAIs GPT-4, kombineret med en struktureret vidensbase bestående af cirka 128.292 pakistanske retsafgørelser og 943 love. Det afgørende arkitekturprincip bag dette er Retrieval-Augmented Generation (RAG) – en tilgang, hvor sprogmodellen ikke hallusinerer fra hukommelsen, men aktivt forespørger en verificeret database og forsyner svarene med linkede kildehenvisninger.

„Det viser sig, at løsningen på hallusinationer ikke blot er mere intelligente modeller – men at koble modellerne til et værktøj, der kan søge og verificere kilder." – Elliott Ash, ETH Zürich

Dette designprincip er ikke et pakistansk særfænomen. Det er den universelle kerne i velfungerende KI-systemer i regulerede miljøer.

Hvad RAG gør ved hallusinationer – og hvorfor det er afgørende for virksomheder

Mange virksomheder mislykkes med KI-implementering ikke på grund af teknologien i sig selv, men på grund af det forkerte anvendelsesmønster: En generisk Large Language Model (LLM) slippes løs på virksomhedsspecifikke spørgsmål – og producerer plausibelt klingende, men faktisk forkerte svar. Pakistan-eksperimentet demonstrerer tydeligt, at selv inden for det højt specialiserede retsområde hallusinerede kommercielle chatbots „hyppigt retsafgørelser", inden et domænespecifikt RAG-system blev implementeret.

Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, fremhæver dette punkt regelmæssigt i rådgivningspraksis: KI-agenter, der skal fungere pålideligt i virksomhedsprocesser, har brug for en ren, struktureret vidensbase – og en arkitektur, der tvinger modellen til at trække på verificerede kilder frem for at generere frit. Det gælder for juridiske dokumenter på samme måde som for tekniske håndbøger, compliance-krav eller produktdatabaser.

Den undervurderede variabel: træning og adoption

Særligt oplysende er fundet vedrørende anvendelsesintensiteten. Forskerne opdelte de 1.559 deltagende dommere i tre grupper:

• Gruppe 1: Specifik JudgeGPT-træning (6 sessioner à 90 minutter, indhold: LLM-funktionsmåde, begrænsninger, hallucinationsrisici, verifikationspligt)
• Gruppe 2: Generel træning i KI i retspraksis
• Gruppe 3: Ingen træning

Resultatet er entydigt: Dommere med specifik træning loggede i gennemsnit ind 56 gange og sendte 212 prompts – sammenlignet med 10 logins og 25 prompts i den generelt trænede gruppe. Dommere uden træning brugte værktøjet i cirka en måned, hvorefter brugen kollapsede. Stigningen på 6,3 procent opstod altså ikke blot ved at stille værktøjet til rådighed, men gennem en kombination af det rette redskab og målrettet kompetenceudvikling.

For virksomheder betyder det: KI-implementering er ikke et deployment-problem, men et change management-problem. Den, der ruller et KI-system ud og forventer, at medarbejderne instinktivt bruger det effektivt, vil blive skuffet.

Kvalitetssikring via KI – metodisk interessant, men diskutabelt

Hvordan måler man, om domme bliver bedre eller dårligere efter brug af KI? Forskerne anvendte en bemærkelsesværdig metode: GPT-5-mini vurderede domspar fra samme dommer – før og efter træningen. Modellen foretrak post-trænings-domme i 59 procent af tilfældene. To erfarne pakistanske advokater var enige med modellen i 70,6 procent af tilfældene og indbyrdes enige i 73 procent – en bemærkelsesværdig høj overensstemmelse for en LLM-baseret evalueringsmetode.

Derudover faldt ankekvoten en smule, hvilket kan tolkes som en indirekte kvalitetsindikator: Hurtigere domme førte tilsyneladende ikke til mindre præcise domme.

ROI-aspektet er ligeledes bemærkelsesværdigt: For hver dollar brugt på drift af værktøjet beregnede forskerne besparelser på omkring 38,50 USD i retsomkostninger. Det er ikke en teoretisk værdi, men et resultat fra ni måneders aktiv drift.

Hvad dette eksperiment betyder for virksomhedsautomatisering

Pakistan er ikke et enkeltstående tilfælde – det er et bevis. Brasilien og Indien ruller allerede lignende systemer ud, og også i den private sektor vokser brugen af KI-agenter i komplekse, dokumenttunge processer hastigt: kontraktstyring, regulatorisk compliance, kundekommunikation, interne vidensforespørgsler.

JudgeGPT-eksperimentet kondenserer de vigtigste succesfaktorer til en klar formel:

• Domænespecifikt vidensgrundlag frem for generisk LLM: Jo snævrere konteksten er, desto højere er pålideligheden.
• RAG frem for ren generering: Kildeforankring er ikke en mulighed, men en forudsætning i regulerede områder.
• Struktureret træning frem for blot at stille adgang til rådighed: Adoption følger ikke automatisk af tilgængelighed.
• Iterativt deployment: Systemet forbedres over tid – vidensbasen og modellen blev videreudviklet under løbende drift.
• Kvalitetsmåling fra starten: Den, der ikke måler, kan ikke styre.

Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, ser i sådanne feltstudier et vigtigt legitimationsgrundlag for seriøs anvendelse af KI: „Det, som Pakistan viser, gælder for ethvert forretningsområde, hvor fejl har konsekvenser – og det er i bund og grund alle områder. Forskellen mellem et KI-værktøj, der øger produktiviteten, og et, der ødelægger tilliden, ligger ikke i selve modellen. Den ligger i systemarkitekturen, datagrundlaget og træningsprogrammet."

Udsigt: KI som pålidelig procespartner – men kun med det rette fundament

JudgeGPT-eksperimentet er ikke et argument for blindt at integrere KI i kritiske processer. Det er et argument for at gøre det rigtigt. Retsvæsenet hører til verdens mest konservative og formstrenge institutioner – og selv der kan man med en gennemtænkt KI-arkitektur opnå markante effektivitetsgevinster uden at ofre kvaliteten.

For virksomheder, der ønsker at integrere KI-agenter i deres workflows, gælder følgende: Det teknologiske modenhedsniveau for pålidelige, domænespecifikke KI-applikationer er til stede i dag. Det, der ofte mangler, er ikke en bedre model, men et klarere systemdesign, en vedligeholdt vidensbase og et gennemtænkt onboarding-koncept for brugerne. Den, der samler disse tre byggesten, kan – som Pakistan viser – opnå målbare resultater selv i stærkt regulerede miljøer.