AI-hallucinationer: modellen gætter, fordi tavshed giver nul point

TL;DR: En AI-hallucination er et svar, der lyder rigtigt og er forkert. Modellen finder på noget plausibelt frem for at sige, at den ikke ved det, og den gør det, fordi den bliver belønnet for det. Den bliver trænet og målt som en eksamenskandidat, og på den eksamen giver et forkert svar og et blankt svar det samme: nul. Med den regel vinder gættet hver gang.

Og den regel gælder også jeres eget pilotprojekt. Næsten ingen bedømmer et pilotprojekt på, hvor ofte Claude med rette lod være med at svare, så næsten ingen ender med en Claude, der lader være.

To tal nedenfor gør det meste af arbejdet i enhver AI-implementering. Det ene er en nedre grænse, som ingen kan træne sig ud af. Det andet fortæller, hvor fejlen sidder, når I har lagt søgning oven på modellen. De fleste leder et andet sted.

Kalai, Nachum, Vempala og Zhang: Why Language Models Hallucinate (OpenAI og Georgia Tech, 4. september 2025) →

Et gæt giver point. Et blankt felt giver nul.

Fire forskere fra OpenAI og Georgia Tech udgav studiet i september sidste år. Deres pointe er kedelig på den gode måde: hallucinationer behøver ikke være mystiske.

De gennemgik ti af branchens mest brugte benchmarks, blandt dem GPQA, MMLU-Pro og SWE-bench. Ni af de ti giver et point for et rigtigt svar og nul for alt andet. Et forkert svar og et "det ved jeg ikke" lander i samme kolonne. Kun WildBench giver point for at udtrykke usikkerhed, og forfatterne bemærker, at selv den rettevejledning formentlig giver en ærlig indrømmelse færre point end et pænt formuleret gæt.

Deres Observation 1 siger det matematisk: under en binær bedømmelse er det aldrig optimalt at lade være med at svare. Forestil jer to modeller. Model A siger ærligt fra, når den er i tvivl. Model B gætter hver gang. De to modeller ved præcis lige meget. B vinder på pointtavlen, og B er den, der bliver udgivet.

Mennesker lærer værdien af "det ved jeg ikke" uden for skolen. Det gør en model ikke. Den er permanent til eksamen.

Grænsen holder, også med fejlfri data

Det almindelige svar er, at problemet forsvinder med mere og bedre træningsdata. Studiet lukker begge veje.

Forfatterne beviser noget bestemt: det er sværere at skrive et korrekt svar, end det er at afgøre, om et svar er korrekt. Fejlraten, når modellen skriver, er mindst omkring det dobbelte af fejlraten på den simple ja-nej-vurdering. Det gælder enhver model, uanset arkitektur.

For fakta uden mønster giver det en konkret nedre grænse. Tag fødselsdatoer. Der er intet mønster at lære, for en fødselsdato er vilkårlig. Optræder 20 procent af fødselsdatoerne i træningsdataene kun én gang, så svarer en grundmodel forkert på mindst 20 procent af dem.

Læg mærke til præmissen. Studiet regner med fejlfri træningsdata og når frem til grænsen alligevel. Med rigtige data, som altid indeholder fejl, bliver tallet højere.

En indkøbsbeslutning hænger på en skelnen mellem to slags fejl. Nogle bliver færre, når modellen bliver bedre. Andre bliver det ikke, fordi de handler om, hvor mange steder et enkeltstående faktum overhovedet er skrevet ned. Ingen leverandør kan garantere jer, at den anden slags forsvinder.

Forfatterne foreslår selv en instruktion frem for en ny model. Deres forslag er, at et benchmark skriver sin egen bedømmelsesregel ind i selve opgaven:

Oversat: sig, hvor sikker modellen skal være, og gør det dyrere at gætte forkert end at melde pas. Sætningen er skrevet til dem, der bygger benchmarks. Den er også, næsten ordret, den mest oversete linje, I kan sætte ind i jeres systemprompt, altså den faste instruktion, modellen får med hver eneste gang. Jeg vender tilbage til den i punkt 2 nedenfor.

Inde i Claude er afvisning udgangspunktet

Anthropic har set på det fra den anden side. I On the Biology of a Large Language Model sporer deres fortolkningshold de kredsløb, der afgør, om Claude svarer eller siger fra.

Resultatet vender intuitionen om. Afvisning er standard. Inde i modellen ligger et signal, som forskerne kalder et træk. Det tænder af sig selv ved ethvert spørgsmål og siger "kan ikke svare". Noget skal slukke det, før modellen overhovedet svarer. Det, der slukker det, er genkendelse: et "kendt navn"-træk, der tænder, når modellen faktisk ved noget om emnet.

Spørg om Michael Jordan, og Jordan-trækkene dæmper afvisningen. Svaret kommer. Spørg om et navn, modellen aldrig har set, og afvisningen bliver stående. I får et ærligt "det ved jeg ikke".

Hallucinationen opstår i gråzonen. Et navn, modellen halvt genkender, tænder "kendt navn"-trækket lige akkurat nok til at slukke afvisningen, men ikke nok til, at der er dækning bag. Forskerne viste det ved at tænde trækket kunstigt på et opdigtet navn. Modellen holdt op med at sige fra og begyndte at digte.

Det forklarer et mønster, I sikkert har set uden at sætte ord på det: modellen tager mest overbevisende fejl om det, den næsten kender. Jeres branche. Jeres konkurrent. Jeres eget produkt.

Søgningen finder dokumentet. Modellen kører udenom.

Det normale svar på hallucinationer er at give modellen kilderne. Hent de rigtige dokumenter frem, læg dem ind sammen med spørgsmålet i det, modellen får at læse, og bed den svare ud fra det. Metoden hedder RAG, og den virker. Den er stadig det første, jeg bygger. Men den virker anderledes, end folk regner med.

Den samme type fejl blev sporet i maj i år. Et hold under Passant Elchafei fulgte hver fejl i en sådan opsætning helt ned til det enkelte delspørgsmål og sorterede dem i to slags. Enten fandt søgningen ikke det rigtige dokument. Eller også fandt den det, og modellen gik uden om det til fordel for sin egen forhåndsviden.

Fordelingen er langtfra jævn. I 28,4 procent af tilfældene fandt søgningen det rigtige dokument, og modellen overså det. Kun i 7,0 procent kom søgningen tomhændet tilbage. På et almindeligt spørgsmålsdatasæt var tallene 42,3 procent mod 5,8. Modellen overså et bevis, der lå der, fire til syv gange så ofte, som beviset manglede.

Og det bliver værre, jo mere almindeligt emnet er. Forskerholdet bag den måling forklarer hvorfor: jo bedre dækket et emne er i modellens træning, jo stærkere er dens egen forhåndsviden, og jo mere skal der til, før et dokument vinder over den.

Stanford-forskere testede i 2024 tre juridiske søgeværktøjer. Alle tre er bygget på præcis denne arkitektur, og alle tre blev markedsført på et løfte om at fjerne eller undgå hallucinationer. De hallucinerede i 17 til 33 procent af tilfældene.

Det flytter, hvor pengene skal bruges. Når et system svarer forkert, kaster de fleste sig først over søgningen. Tallene siger, at søgningen som regel virker. Pengene hører til i det, der sker bagefter.

Her er min holdning: vælg ikke model efter en offentlig liste

Der findes offentlige ranglister over, hvor meget modeller hallucinerer. Den mest citerede er Vectaras. Den blev opdateret 11. maj i år og bygger på over 7.700 artikler. Claude Haiku 4.5 ligger på 9,8 procent, Sonnet 4 på 10,3 og Opus 4.5 på 10,9.

Jeg mener, I skal lade den liste ligge, når I vælger model. Og jeg mener, I skal lade være med at blive forskrækkede over tallene.

Listen måler én kunstig opgave: referer dette dokument, og brug udelukkende det, der står i det. Intet ræsonnement, ingen viden udefra. Den, der retter, er HHEM-2.3, Vectaras egen model, så leverandøren stiller både opgaven og retter den. Den slags måling straffer en model for at tilføje noget rigtigt, som ikke stod i teksten. Vectara skriver selv, at de dyre ræsonnerende modeller ligger dårligere end de små på netop den opgave: Gemini 3 Pro lander på 13,6 procent, mens Gemini 2.5 Flash Lite lander på 3,3, og to endnu mindre modeller ligger over den igen.

En model, der tænker mere, har sværere ved at holde mund om det. På den opgave. På jeres kan billedet se helt anderledes ud.

Det brugbare ved listen er, at en hallucinationsrangliste kan være så kontraintuitiv, og det er netop grunden til ikke at flytte den over på en anden opgave. I skal måle på jeres eget materiale, med jeres egne spørgsmål og lade nogen, der ved, hvad det rigtige svar er, bedømme svarene. Alt andet er at låne en andens eksamen og håbe, at pensum var det samme.

Stadig min vurdering: tallet, ingen måler

Når jeg får en rapport fra et pilotprojekt, står der næsten altid ét tal: hvor ofte svaret var rigtigt. 94 procent. 88 procent. Ét tal kan ikke fortælle, hvad der skete i de sidste 6 eller 12 procent.

Der er forskel på et system, der svarede forkert med fuld selvsikkerhed, og et, der skrev "det står ikke i materialet, spørg Anne i bogholderiet". Det første er en regning, der kommer senere. Det andet er et system, der virker.

Bed derfor om to helt andre tal. Hvor ofte den svarede rigtigt, og hvor ofte den lod være med at svare. Det andet tal er afvisningsprocenten, altså hvor ofte systemet selv meldte pas. Og bed om, at et menneske læser de tilfælde igennem, hvor den lod være. Er afvisningsprocenten nul, har I ikke bygget noget sikkert. I har bygget noget, der aldrig siger fra, og det er præcis den model, studiet beskriver som vinderen af en dårlig eksamen.

Deloitte Australien afleverede sidste efterår en rapport til det australske beskæftigelsesministerium for omkring 440.000 australske dollar. Den indeholdt henvisninger til rapporter, der ikke findes, og et citat, som blev lagt i munden på en dommer, der aldrig har sagt det. En forsker fra universitetet i Sydney opdagede det efter udgivelsen. Firmaet betalte en del af honoraret tilbage. Sagen viser, hvor almindeligt det er: intet trin i processen bad om kilden bag hver henvisning.

Jeg sælger kurser og rådgivning i det her, så jeg har en interesse i, at I går op i det. Læs holdningen med det i baghovedet. Jeg gør det samme selv: ingen af mine egne agenter går i drift uden et tal for, hvor ofte de siger fra.

Hvad det betyder, alt efter hvor I sidder

Ejere og ledere i en SMV

I skal ikke lære at bygge det. I skal kunne læse en rapport. Bed om afvisningsprocenten sammen med træfsikkerheden, og bed om at se tre konkrete forkerte svar frem for et gennemsnit. En beslutning om at sætte noget i drift er i praksis en beslutning om, hvem der opdager fejlen, og hvor længe der går, før det sker. Jeg har skrevet mere om, hvad en agent må gøre uden opsyn, i artiklen om hvad Claude må gøre på egen hånd.

Drifts- og transformationsansvarlige

Fejlen sidder efter søgningen. Før I bruger et kvartal på bedre indeksering, så tjek, hvor ofte det rigtige dokument faktisk lå klar, da svaret blev forkert. Lå det der, er det instruktionen og kontrollen bagefter, der skal laves om, og det tager dage frem for måneder. Det er også den hurtigste rettelse, jeg kender i en AI-implementering.

Salgs- og RevOps-ansvarlige

En agent, der taler med kunder, er et løfte, I afgiver. Air Canada prøvede i februar 2024 at argumentere for, at deres chatbot var en selvstændig aktør, der svarede for sine egne udsagn. Klagenævnet i British Columbia afviste det og pålagde selskabet at betale 650,88 canadiske dollar. Virksomheden hæfter for alt på sin egen hjemmeside. Det gælder, uanset om det står på en side eller kommer ud af en samtale.

Fem ting, I kan ændre i denne uge

1. Giv modellen lov til at lade være. Anthropics egen vejledning sætter det først på listen, og deres artikel om promptteknik fra 2025 kalder det løsningen på en model, der finder på: skriv i instruktionen, at den skal svare "jeg har ikke nok information til at vurdere det her", hvis materialet ikke rækker. Det lyder for enkelt til at virke. Det virker.

2. Sæt en tærskel. Skriv, hvor sikker den skal være, før den svarer. Studiets egen formulering, den fra citatet ovenfor, er en god skabelon: svar kun, hvis den er mere end 75 procent sikker, ellers skriv, at den ikke ved det.

3. Bed om citaterne først og konklusionen bagefter. Anthropic anbefaler det ved dokumenter på over 20.000 tokens: bed den trække de ordrette passager ud, før den analyserer noget. Så bygger analysen på teksten frem for på hukommelsen.

4. Kør en efterkontrol af påstandene. Når svaret er skrevet, beder I den gå hver påstand igennem og finde det citat, der bærer den. Findes citatet ikke, ryger påstanden ud. Anthropic anbefaler det direkte, og det er den billigste kontrol, der findes.

5. Slå Citations til, hvis I bygger på API'et. Claudes Citations-funktion returnerer den nøjagtige passage bag hver sætning med dens placering i dokumentet, i stedet for at I beder om kildehenvisninger i instruktionen og håber. Anthropic skriver selv, at den henter mere relevante citater end en ren promptbaseret tilgang.

Ingen af de fem fjerner problemet. Studiet siger klart, at hverken søgning eller ræsonnement er en løsning i sig selv, og Anthropics egen side slutter samme sted: teknikkerne reducerer hallucinationer uden at fjerne dem. Til gengæld laver de et selvsikkert forkert svar om til et tomt felt. Et menneske kan reagere på et tomt felt og kan ikke reagere på et selvsikkert forkert svar. Det flytter en AI-implementering fra noget, I håber på, til noget, I kan følge med i.

Så her er tallet, I skal finde. Åbn den seneste pilotrapport, nogen har givet jer, og se efter, hvor ofte systemet lod være med at svare. Står det ikke i rapporten, er det den første ting at rette, og det koster en linje i en instruktion.

Skal jeres folk selv kunne det her frem for at få det bygget, er et AI-kursus stedet at begynde. En dag, hvor holdet lærer at stille opgaven, så modellen har lov til at sige fra, og at læse et svar, der ikke skal tages for pålydende.

Kilder

Primære

• Why Language Models Hallucinate, arXiv 2509.04664, Kalai, Nachum, Vempala og Zhang, 4. september 2025
• On the Biology of a Large Language Model, Anthropics fortolkningshold
• Reduce hallucinations, Anthropics egen vejledning
• Citations, Anthropics dokumentation
• Prompt engineering best practices, Anthropic, 10. november 2025

Tredjepart

• Facet-Level Tracing of Evidence Uncertainty and Hallucination in RAG, arXiv 2604.09174, Elchafei, Swain, Masoudian og Schedl, 21. maj 2026
• Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, arXiv 2405.20362, Magesh m.fl., Stanford RegLab og HAI
• Vectaras hallucination leaderboard, opdateret 11. maj 2026, og Vectaras egen gennemgang af den nye udgave
• Deloitte tilbagebetaler den australske stat, Fortune, 7. oktober 2025
• Moffatt mod Air Canada, 2024 BCCRT 149, Civil Resolution Tribunal i British Columbia, 14. februar 2024

Claude har lavet researchen, begge sprogudgaver og hele det visuelle sæt til denne artikel. Jeg har sat retningen, truffet beslutningerne og grebet ind fire gange undervejs. Fordelingen nedenfor er regnet over det færdige omfang, ikke over planen.