GPU-taktstyring sparer op til 14 % energi under LLM-træning – hvad det betyder for virksomheder

Når træningen af en AI-model bruger mere strøm end 5.000 husstande på et år

Debatten om store sprogmodellers (Large Language Models, kort LLMs) energiforbrug er for længst ikke mere en akademisk randnote. Ifølge estimater slugte alene træningen af GPT-4 i 2023 cirka 50 gigawattimer – nok til at forsyne 5.000 amerikanske husstande med strøm i et helt år. Siden da er beregningskravene til såkaldte frontier-modeller steget yderligere, selvom præcise forbrugstal sjældent kommunikeres af de store AI-laboratorier. For virksomheder, der ønsker at integrere AI i deres værdikæde eller træne egne modeller, er dette et strategisk emne – ikke kun fra et omkostningsperspektiv, men også med henblik på ESG-krav og regulatoriske rammebetingelser.

Tilgangen: Dynamisk taktfrekvenstyring på kernel-niveau

Forskere ved Universitetet i Twente i Nederlandene har nu offentliggjort en tilgang, der grundlæggende kunne ændre situationen. Deres metode bygger på en velafprøvet, men hidtil utilstrækkeligt udnyttet teknik: den såkaldte Dynamic Voltage and Frequency Scaling (DVFS). Her holdes taktfrekvensen for GPU-kerner og arbejdshukommelse ikke statisk, men tilpasses i realtid til den faktiske belastning.

GPU'er har typisk to taktkilder: én til beregningskernen og én til hukommelsen. Mens den beregningsintensive del af en beregning kører, kan hukommelsestakten reduceres – og omvendt. Det lyder enkelt, men er i praksis hidtil stødt på for grov granularitet. Tidligere implementeringer tilpassede kun frekvensen på niveau med træningsiterationer – altså én gang for forward pass og én gang for backpropagation.

Det afgørende innovationsskridt fra Universitetet i Twente ligger i at flytte frekvenstilpasningen til kernel-niveau. I GPU-arkitekturen opdeles beregninger i små, parallelt behandlede enheder – de såkaldte kernels. Et enkelt lag i et neuralt netværk består af cirka 40 sådanne kernels. Ved individuelt at optimere taktfrekvensen for hver enkelt kernel kunne forskerne gribe langt mere præcist ind og realisere energibesparelsespotentialer, der tidligere var skjulte.

Resultater: 14 % energibesparelse ved kun 0,6 % tidstab

Den eksperimentelle validering blev foretaget med GPT-3-XL-modellen med 1,3 milliarder parametre på en NVIDIA RTX 3080 Ti. Forskerne koncentrerede sig om træningen af et enkelt lag og identificerede en optimal kombination af frekvensindstillinger, der førte til en energibesparelse på op til 14 procent – ved et tidstab på blot 0,6 procent. Metoden kan dermed anvendes praktisk taget uden kompromis med ydeevnen.

Vigtigt at forstå: De 14 % svarer til et best-case-scenarie. Skiftehastigheden mellem forskellige taktfrekvenser er ikke øjeblikkelig, og i det eksperimentelle miljø blev skifteforsinkelser ikke fuldt ud taget i betragtning. Hvor alvorlig denne effekt er i praksis, afhænger i høj grad af den anvendte hardware. Nyere GPU-generationer som Nvidias Blackwell-arkitektur tilbyder markant hurtigere skiftetider og kan mere realistisk udnytte det fulde besparelsespotentiale.

„Vi optimerer på energibesparelse uden tab af ydeevne. I den virkelige verden er performance det eneste, der tæller." – Jeffrey Spaan, ph.d.-studerende ved Universitetet i Twente

Hvorfor automatisk GPU-regulering ikke er tilstrækkelig

Moderne GPU'er råder allerede over egne DVFS-mekanismer, der internt reagerer på belastningsudsving. Man kunne derfor antage, at hardwaren løser dette problem af sig selv. Den afgørende forskel ligger imidlertid i fremsynet: GPU'ens interne system kender ikke rækkefølgen af fremtidige kernels og må altid agere reaktivt. Universitetet i Twente drager derimod fordel af et fuldstændigt kendskab til trænings-workloads og kan planlægge frekvenstilpasningen proaktivt – en fundamental fordel, der strukturelt er utilgængelig for automatiserede on-the-fly-systemer.

Dette aspekt er også højst relevant for virksomheder med egne KI-infrastrukturer. Den, der kender og kan forudsige workloads – eksempelvis gennem strukturerede ML-pipelines og workflow-orkestrering – skaber grundlaget for overhovedet at kunne anvende sådanne optimeringsmetoder.

Vurdering fra et virksomhedsperspektiv

Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, understreger i sit daglige rådgivningsarbejde regelmæssigt, at effektivitet i KI-drift ikke udelukkende er et teknisk spørgsmål, men en strategisk løftestang: „Virksomheder, der ønsker at skalere KI, må betragte energiforbrug og beregningsomkostninger som forretningsparametre – ikke som et IT-detalje. Det, der i dag gælder for LLM-træning, vil i morgen være lige så afgørende for driften af KI-agenter og autonome workflows."

Forskningsresultaterne fra Twente er derfor også relevante for virksomheder, der ikke selv træner frontier-modeller. De underliggende principper – granulær ressourcestyring, fremsynet workload-planlægning og kontinuerlig optimering – gælder nemlig i lige så høj grad for driften af LLM-baserede agentsystemer, Retrieval-Augmented-Generation-pipelines (RAG) og andre KI-understøttede automatiseringsinfrastrukturer.

Implikationer for fremtidens KI-infrastruktur

Forskerteamet arbejder i øjeblikket på et værktøj, der automatisk kan beregne og implementere den optimale frekvensregulering for vilkårlige workloads. Skulle denne tilgang slå igennem i bred skala, ville det få vidtrækkende konsekvenser:

• Lavere træningsomkostninger: Cloududbydere og KI-labs kan strukturelt reducere driftsomkostningerne uden at ofre modelkvaliteten.
• Bæredygtighedsmål: Virksomheder med ESG-forpligtelser drager fordel af målbare CO₂-besparelser i deres KI-værdikæder.
• Hardware-roadmaps: Incitamentet til at anvende nyere GPU-generationer med hurtigere skiftetider vokser – et argument for investeringsbeslutninger i retning af moderne Blackwell- eller efterfølgerarkitekturer.
• Softwarebaseret optimering: Metoden viser, at betydelige effektivitetsgevinster er mulige gennem intelligent software-hardware-co-design – uden nye chips eller nye modelarkitekturer.

Hvad der består – og hvad der kommer

Tilgangen fra Nederlandene er et eksempel på en bredere udvikling: KI-industrien begynder at betragte effektivitet ikke længere som modsætningen til ydeevne, men som en komplementær dimension. Mens den offentlige debat ofte fokuserer på nye modelstørrelser og benchmark-rekorder, afgøres den reelle konkurrenceevne for KI-systemer i stigende grad på niveauet for infrastruktur, driftsomkostninger og skalerbarhed.

Dr. Maik Bunzel, der med mabucon.eu hjælper virksomheder med implementering af Agentic-AI-systemer og KI-understøttede automatiseringsworkflows, ser en klar besked til mellemstore virksomheder heri: „Den, der seriøst ønsker at skalere KI, må senest nu begynde at integrere energieffektivitet og infrastrukturomkostninger i sin KI-strategi. Teknologien modnes – og den, der optimerer tidligt, har senere en strukturel fordel."

Om DVFS-baseret taktstyring bliver et standardværktøj i LLM-træning afhænger af, hvor hurtigt de tilsvarende automatiseringsværktøjer bliver tilgængelige, og om GPU-producenter gør de relevante grænseflader tilgængelige for bredere brugergrupper. Det akademiske bevis er ført. Overførslen til produktionsklare systemer er den næste udfordring – og en, hvor samspillet mellem forskning, hardwareudvikling og erhvervsmæssig efterspørgsel vil være afgørende.