Hvem lægger pipelinen rigtigt sammen?

Tre Claude-modeller får det samme opdigtede CRM og de samme otte spørgsmål fra en salgsdirektør. De må slå op i databasen, så tit de vil. Vælg et spørgsmål og se, hvem der rammer det rigtige tal.

Firmaet, aftalerne og tallene er opdigtede. Hver model svarede fire gange på hvert spørgsmål med samme indstilling (effort medium): to gange med eksportens dokumentation af kolonnerne og to gange uden, og hvert opslag vises på det tidspunkt, det blev sendt, afspillet fire gange hurtigere. Prisen er listeprisen pr. million tokens ind og ud, ganget med det, kørslen faktisk brugte. Et svar tæller som rigtigt, når det ligger inden for en halv procent af det rigtige tal.