Kort fortalt: To AI-agenter læste de samme 20 henvendelser fra en kontaktformular. Den ene fik én målsætning på én sætning. Den anden fik et flowchart på 40 linjer. Begge gav alle 20 den rigtige pakke og det rigtige næste skridt, i begge omgange. Da det samme flowchart blev kørt som faste regler uden en sprogmodel bagved, tog det fejl på 3 af dem. Alle tre gange sendte reglerne et lille firma til et salgsmøde om den største pakke. Testen, facitlisten og alle 80 svar kan du hente gratis og køre på dine egne henvendelser.
Alt i gennemgangen kommer fra de gemte kørsler. Hvert svar står, som Claude skrev det. Siden kører ikke noget nyt, mens du klikker.
Én målsætning mod 40 linjer
Idéen kommer fra Anthropic. Den 30. september skrev firmaet om, hvordan dets eget salgsteam byggede inbound-salget om med Claude Managed Agents. Ét citat derfra handler om netop det her: „Explaining the goal of the agent worked better than a detailed list of instructions.“ Det virkede altså bedre at forklare agenten målet end at give den en lang liste med instruktioner.
Her er påstanden testet på en virksomhed i din størrelse. Testen foregår hos Vognlog, et opdigtet dansk softwarefirma, der sælger jobplanlægning til servicefirmaer i tre pakker: Start, Team og Business. Claude skrev 20 henvendelser, sådan som de kommer ind gennem en kontaktformular: rolle, antal ansatte, hvad de har brug for hjælp til, selve beskeden og det, en agent kan se i CRM'et, for eksempel om de allerede er kunder og har en fast kontaktperson.
Tretten af de 20 har en fælde indbygget. En ejer af et lille VVS-firma beder direkte om Business. En eksisterende kunde skal til sin kontaktperson og ikke til salg. Et firma med 30 ansatte har kun 3, der planlægger. Facitlisten blev skrevet og gemt, før den første kørsel gik i gang, så ingen kan sige, at den blev tilpasset bagefter.
De to agenter fik den samme vidensbase og det samme svarformat. Kun prompten var forskellig. Den ene var én målsætning: forstå, hvad køberen faktisk har brug for, og anbefal den pakke og det næste skridt, der er rigtige for køberen og for Vognlog. Den anden var et flowchart på 40 nummererede linjer, sådan som en drejebog for inbound-salg kan se ud. Hver henvendelse blev kørt i sin egen Claude-agent, to gange med hver prompt. Det giver 80 kørsler.
20, 20 og 17
Med én målsætning valgte Claude den rigtige pakke og det rigtige næste skridt for alle 20 henvendelser, i begge omgange. Med flowchartet gjorde Claude det samme. Hver agent traf præcis de samme valg i første og anden omgang. De to var kun uenige om én henvendelse, fra en forening, og facitlisten godtog begge svar.
Testen kan ikke skille dem ad. Claude brugte flowchartet som en rettesnor: hvor en linje stred mod vidensbasen, fulgte Claude vidensbasen.
Da flowchartet blev fulgt bogstaveligt, linje for linje og uden en sprogmodel bagved, tog det fejl på 3 af de 20. Det er præcis, hvad et beslutningstræ gør: det følger linjerne.
Længden skilte dem til gengæld ad. Med én målsætning skrev Claude i gennemsnit 115 og 118 ord pr. svar i de to omgange. Med flowchartet 66 og 67. Det skyldes til dels, at linje 37 i flowchartet sætter et loft på 90 ord, mens målsætningen ikke siger noget om længde.
Køberen, der skrev SSO og mente adgangskoder
Henvendelse nummer 18 kommer fra indehaveren af et malerfirma: „Vi er 12 malere og vi vil gerne have SSO via Google, for folk glemmer hele tiden deres adgangskoder. Hvilken pakke skal vi have?“
Ifølge linje 19 i flowchartet er det Business, hvis beskeden nævner SSO. Reglerne gjorde netop det og sendte 12 malere til et salgsmøde om en pakke, der først giver mening fra 25 brugere. Claude havde den samme linje foran sig og svarede: „Login med Google er med i alle vores pakker, så jeres malere kan logge ind med deres Google-konto i stedet for en adgangskode.“ Anbefalingen var Team til 219 kroner pr. bruger om måneden, med en prøveperiode, han selv kunne starte.
Det samme skete to gange mere. Køber nummer 1 har 6 montører og beder direkte om Business, og ifølge linje 21 får han så Business. Han har brug for sms til kunderne og dagens opgaver på telefonen, og det hele er i Team. Køber nummer 12 har 30 ansatte, men kun 3 på kontoret, der planlægger, og tømrerne får bare en sms. Reglerne læste 30 og valgte Business. Claude læste 3 og valgte Start til 129 kroner pr. bruger om måneden.
I to af tilfældene modsiger flowchartet vidensbasen, og i det tredje tog reglerne det første tal i beskeden som antallet af brugere. Alle tre gange fulgte Claude vidensbasen. Hvis agenten på din hjemmeside er bygget som et beslutningstræ, har den kun de linjer, du selv skriver. Står der en sprogmodel bagved, gør vidensbasen det meste af arbejdet: hvem der tæller som bruger, hvad der kræver hvilken pakke, og hvad SSO betyder hos dig.
Tag testen med hjem
Alt er gratis, og du må kopiere og tilpasse det:
- Hele testen som zip-fil: de 20 henvendelser, facitlisten, vidensbasen, begge prompter og to scripts, et, der bygger hver kørsel, og et, der retter svarene
- Vejledningen, på engelsk, med præcis hvordan kørslerne blev lavet
- Resultatet af alle 80 kørsler, og hvert enkelt svar ordret i mappen runs i zip-filen
Sådan kører du den på dine egne henvendelser. Skift vidensbasen ud med det, din agent skal vide: pakker, priser og hvem der tager sig af hvad. Tag 20 rigtige henvendelser, fjern navne og kontaktoplysninger, og behold det, agenten ville kunne se i dit CRM. Skriv facitlisten, før du kører noget, og gem den med en dato. Kør hver henvendelse i sin egen nye samtale med Claude, to gange, og lad scriptet rette svarene.
Du skal bruge din egen adgang til Claude, for testen kalder ikke selv Claude. Scriptet siger heller ikke noget om tonen i svarene. Det tjekker kun pakke og næste skridt.
Hvad testen ikke kan se
Alle fælderne har et svar i vidensbasen. Den siger, hvem der tæller som bruger, at login med Google ikke er det samme som SAML SSO, og at Business starter ved 25 brugere. Det, testen sammenligner, er to måder at skrive prompten på, begge med den samme gode vidensbase i bunden. Hvordan en agent klarer sig med en tynd vidensbase, siger testen intet om.
Claude skrev både flowchartet og fælderne. Linje 19 og 21 er dem, fælderne rammer, og et omhyggeligt salgsteam ville måske ikke skrive dem sådan. Linje 21 sender alle, der beder om den største pakke, til et salgsmøde. Det er i sig selv en helt rimelig måde at sælge på. Her tæller det som forkert, fordi Vognlog ifølge vidensbasen kun sælger Business fra 25 brugere. Reglerne er desuden kun én bogstavelig læsning: på henvendelse 12 tog de det første tal i beskeden, de 30 ansatte, som antallet af brugere.
Selve teksten i svarene fik ingen point, men den er læst igennem. Fire af svarene med flowchartet indeholder en pladsholder som „[link til prøveperiode]“, fordi linje 30 beder agenten sende linket, mens vidensbasen ikke har noget link. Alle priser og summer i alle 80 svar er rigtige.
Første version brugte et firmanavn, der viste sig at tilhøre et rigtigt dansk firma, og navnet på et rigtigt universitet. Et tjek af navnene fangede det, før noget blev offentliggjort. Alle firmaerne fik nye, opdigtede navne, og Claude lavede alle 80 kørsler om den 11. oktober. Resultatet blev det samme: 20, 20 og 17. Det er stadig 20 opdigtede henvendelser, hver på én enkelt besked, kørt to gange med hver prompt. Rigtige henvendelser er mere rodede.
Før du køber en AI-agent til hjemmesiden
Måske har du fået tilbudt en agent, der er bygget som et flowchart, til din hjemmeside. Så er det første spørgsmål, om der er en sprogmodel bagved, eller om linjerne bliver fulgt bogstaveligt. Det andet er, hvem der skriver vidensbasen. Her var det vidensbasen, Claude fulgte, hver gang reglerne tog fejl.
Jeg er AI-konsulent i København og sætter AI-agenter op på hjemmesider for danske virksomheder. Din agent kvalificerer henvendelser ud fra dine egne pakker og priser og sender den rigtige køber videre til det rigtige menneske. Jeg starter med vidensbasen, 20 af dine egne henvendelser og en facitliste, så du kan se, hvad agenten gør, før den møder en rigtig kunde. Se, hvordan et forløb med en AI-agent til hjemmesiden foregår hos mig.
Vil du se den samme slags test på en anden opgave, kan du læse om, hvordan Claude-agenter klarede fornyelserne i et salgsteam.
FAQ
Ofte stillede spørgsmål
Start med vidensbasen: dine pakker, dine priser, og hvem hos dig der tager sig af hvad. Skriv derefter en kort målsætning for agenten, og test den på 20 af dine egne henvendelser med en facitliste, du har skrevet først. Først når den rammer facitlisten, skal den tale med rigtige kunder.
Ikke i denne test. Claude valgte rigtigt for alle 20 henvendelser med begge prompter. Forskellen kom, da flowchartet blev fulgt som faste regler uden en sprogmodel bagved. Så tog det fejl på 3 af 20.
Et beslutningstræ følger linjerne, sådan som de står. Det, mange kalder en AI-chatbot til hjemmesiden, er en agent med en sprogmodel bagved, og den kan læse, hvad køberen mener, og holde det op mod vidensbasen. I testen var det forskellen på 17 og 20 rigtige.
Ja. Zip-filen har alt, hvad du skal bruge, og vejledningen viser trin for trin, hvordan du gør. Du skal bruge din egen adgang til Claude, og du skal fjerne personoplysninger fra henvendelserne, før du bruger dem.
Fordi en facitliste, der bliver skrevet efter svarene, altid passer til dem. Her blev den gemt, før den første kørsel gik i gang, og den er ikke ændret siden. Vejledningen har dens hashværdi, så du selv kan tjekke det.
Nej. Vognlog, firmaerne og personerne er opdigtede. Første version brugte et navn, der tilhørte et rigtigt firma, så alle firmanavne blev skiftet, og testen blev kørt forfra.
Et program, hvor en sprogmodel som Claude får et mål, nogle værktøjer og noget viden og selv vælger de næste skridt. Her er agenten den, der svarer på kontaktformularen og vælger pakke og næste skridt for køberen.
Sådan blev denne side til. Siden er lavet sammen med AI. Samlet set: AI cirka 84 procent, Kim cirka 16 procent. Ser du kun på selve produktionen, lavede AI cirka 95 procent. Claude skrev de 20 henvendelser, facitlisten og begge prompter, lavede de 80 kørsler, talte resultatet op, byggede gennemgangen og lavede filmen. Kim skrev arbejdsreglerne og metoden på forhånd. Tallene er et kvalificeret skøn. Ingen har målt dem.
