Matematisk gennembrud inden for LLM'er? Hvad der gemmer sig bag Subquadratics påstande

En startup ryster grundlaget for moderne sprogmodeller

I verden af store sprogmodeller (Large Language Models, forkortet LLMs) er ægte arkitekturgennemgrud sjældne. Oftest er det gradvise forbedringer inden for træningsdata, antal parametre eller Fine-Tuning-metoder, der gør nye modelgenerationer bedre. Desto større var opsigtvækkelsen, da Miami-baserede AI-startup Subquadratic trådte ud af stealth-mode og hævdede at have løst et af de fundamentale matematiske problemer i moderne LLMs – et problem, der har bremset branchen i næsten et årti. Skepsissen var i første omgang stor, de første beviser spinkle. Men i mellemtiden foreligger der uafhængige evalueringsresultater, der i det mindste giver anledning til eftertanke.

Kerneproblemet: Hvorfor transformere er så dyre

For at forstå, hvorfor påstandene fra Subquadratic er så eksplosive, er det nødvendigt kort at se på, hvordan nutidens LLMs fungerer. Det dominerende arkitekturprincip siden 2017 er Transformer, beskrevet i det banebrydende paper „Attention Is All You Need" af Google-forskere. I hjertet af enhver transformer arbejder en mekanisme kaldet Dense Attention.

Dense Attention fungerer forenklet sådan: Hvert ord (nærmere bestemt: hvert token) i en tekst kodes med et tal. Derefter multipliceres dette tal med tallene for alle andre tokens – for hvert muligt ordpar. For en tekst med 10.000 ord giver det knap 50 millioner enkelte multiplikationer. Og det lumske ved det er: Antallet af beregninger vokser ikke lineært, men kvadratisk med tekstlængden. Fordobler man antallet af tokens, firedobles beregningsomfanget. Netop denne effekt betegnes som quadratic expansion – og den er hovedårsagen til, at LLMs er berygtet energiforbrugende og dyre at drifte.

For virksomheder, der ønsker at køre LLM-baserede workflows i stor skala, er denne egenskab ikke et akademisk problem, men en håndgribelig omkostningsbremse. Dr. Maik Bunzel, grundlægger og direktør for mabucon.eu, observerer denne flaskehals i praksis jævnligt: „Mange af vores kunder støder præcis på grænser, når det handler om automatiseret behandling af meget store dokumentmængder eller omfattende kodebaser. Beregningsomfanget gør sådanne scenarier i dag ofte uøkonomiske."

Sparse Attention: Idéen bag løftet

Subquadratic satser på en tilgang, der i forskningsmiljøet er kendt som Sparse Attention. Grundidéen: Ikke alle relationer mellem tokens i en tekst er lige relevante. En model behøver ikke nødvendigvis at sammenligne hvert ord med ethvert andet for at forstå meningen med et dokument. Sparse Attention vælger målrettet, hvilke token-par der faktisk skal sammenlignes – og springer resten over.

Det lyder elegant, men er alt andet end trivielt. Tidligere forsøg på at gøre Sparse Attention produktionsklar mislykkedes ofte, fordi de forenklede udvælgelsesregler (f.eks.: „sammenlign altid det første ord med det femte") var for stive til at afbilde kompleksiteten i naturligt sprog. Disse modellers ydeevne lå bag Dense Attention-systemer.

Hvad Subquadratic ifølge egne udsagn gør anderledes: Deres model ved navn SubQ udvælger de relevante token-par dynamisk og tekstspecifikt – altså ikke efter et fast mønster, men adaptivt beregnet på ny for hver enkelt inputtekst. Præcis hvordan selektionen fungerer i detaljen, holder virksomheden tilbage som forretningshemmelighed. Det er ikke usædvanligt i AI-branchen, men gør en ekstern efterprøvning sværere.

Hvad de uafhængige tests viser

Det afgørende skridt fra påstand til dokumentation kom, da Subquadratic offentliggjorde resultaterne af en uafhængig evaluering udført af virksomheden Appen. Resultaterne er bemærkelsesværdige:

• Hastighed: I en ren hastighedstest var SubQ ifølge Appen 56 gange hurtigere end modeller, der anvender FlashAttention – en etableret og allerede optimeret sparse-attention-teknik.
• Coding-performance: På LiveCodeBench, et benchmark for opgaver fra reelle programmeringskonkurrencer, opnåede SubQ 89,7 % – et resultat, der placerer sig på niveau med førende coding-modeller fra OpenAI, Google DeepMind eller Anthropic.
• Kontekstvindue: SubQ skal angiveligt understøtte et kontekstvindue på op til 12 millioner token. Til sammenligning arbejder de fleste aktuelle topmodeller med cirka én million token. I den såkaldte Needle-in-a-Haystack-test – hvor en model skal udtrække målrettede informationer fra enorme tekstmængder – opnåede SubQ ifølge Appen 98 % træfsikkerhed, både ved 6 og ved 12 millioner token.
• Omkostningsbesparelse: Ifølge virksomhedens egne oplysninger koster behandlingen af et bestemt benchmark-forløb med Anthropics Opus-model cirka 2.600 US-dollar – med SubQ angiveligt kun 8 dollar. Dette tal har det hidtil ikke været muligt at verificere uafhængigt, da SubQ endnu ikke er almindeligt tilgængeligt.

„This could be a game changer, because models struggle with speed and inefficiency. But when you have kind of shocking results, it's really not as credible when you say it yourself." – Jeanine Sinanan-Singh, Appen, Director of Generative AI Research

Begrænsninger og åbne spørgsmål

Benchmarks giver ikke et fuldstændigt billede af en models ydeevne. De måler præstation under kontrollerede, specifikke betingelser og er ingen erstatning for anvendelse på et bredt spektrum af reelle opgaver. Desuden har Subquadratic hidtil kun gjort SubQ tilgængeligt for et meget begrænset antal brugere – på trods af angiveligt titusindvis af interesserede på ventelisten, herunder mere end 500 virksomhedskunder.

Også det faktum, at den præcise mekanisme bag den dynamiske token-selektion ikke offentliggøres, gør en fuldstændig videnskabelig indplacering umulig. Erfarne AI-ingeniører påpeger, at der på dette område allerede er "forsøgt så godt som alt", og at Sparse Attention alligevel hidtil ikke har kunnet blive et varigt alternativ til Dense Attention i frontier-segmentet. Fællesskabets dom forbliver tilsvarende delt: Banebrydende arkitektur eller veliscenesæt hype?

SubQ er desuden ikke en universalmodel, der skal erstatte nuværende systemer på bred front. Virksomheden positionerer det eksplicit til to scenarier: Coding-opgaver og behandling af meget store datasæt. For andre opgaver – såsom kreativ skrivning, komplekse reasoning-kæder eller multimodal behandling – er der endnu ikke fremlagt sammenlignelige beviser.

Hvad betyder det for virksomheder?

Uanset hvordan debatten om Subquadratic udvikler sig, belyser den et centralt tema for KI-drevne forretningsprocesser: Spørgsmålet om omkostninger og energiforbrug ved LLMs er reelt og strategisk relevant. Virksomheder, der i dag planlægger automatiseringsprojekter baseret på analyse af store dokumentmængder – f.eks. kontrakter, teknisk dokumentation, kodebaser eller forskningsrapporter – støder hurtigt på økonomiske begrænsninger.

Dr. Maik Bunzel, grundlægger og administrerende direktør for mabucon.eu, ser udviklinger som SubQ som et signal, der driver hele branchen fremad: „Hvis det bekræftes, at Sparse-Attention-arkitekturer faktisk kan levere frontier-nær ydeevne til en brøkdel af beregningsomkostningerne, ændrer det grundlæggende kalkulationen for mange automatiseringsscenarier. Ikke kun for store koncerner, men især for mellemstore virksomheder, der hidtil har tøvet på grund af driftsomkostningerne."

Det er vigtigt at forblive nuanceret: Nye arkitekturansatser kræver tid, før de er klar til produktion og pålideligt skalerbare. Virksomheder bør nøje følge med i, om og hvordan SubQ bliver tilgængeligt for en bredere offentlighed i de kommende måneder – og hvilke uafhængige praktiske tests der følger. Indtil da gælder: Løftet er betydeligt, men beviset i produktiv anvendelse mangler stadig.

Perspektiv: Slutningen på Transformer-æraen?

Subquadratic-CEO Justin Dangel formulerer det provokerende: „Vi tror ikke, at nogen om nogle år stadig vil bygge på Transformere." Det er en tese, der som forventet diskuteres kontroversielt i KI-forskningsmiljøet. Transformere er ikke kun teknologisk dominerende – de er grundlaget for enorme investeringer i hardware (særligt Nvidia-GPU'er), træningspipelines og infrastruktur.

Ikke desto mindre viser teknologiens historie, at fundamentale arkitekturskift er mulige, når effektivitetsfordelene er store nok. Om Subquadratic faktisk indleder dette skift, eller om SubQ forbliver et interessant nicheprodukt, vil den næste offentlige fase – herunder ægte API-adgange og peer-reviewede publikationer – skulle vise.

For virksomheder, der i dag opbygger KI-strategier, er den praktiske konsekvens: Følg teknologiske udviklinger som denne nøje, udform pilotprojekter fleksibelt, og tag arkitekturspørgsmål alvorligt som et strategisk kriterium ved valg af KI-løsninger – ikke kun Benchmark-scores.