De fleste AI-sammenligninger måler det forkerte. De stiller benchmark-point op ved siden af hinanden, sammenligner kontekstvinduer og kårer en vinder — og besvarer dermed ikke et eneste spørgsmål, der reelt opstår i en rigtig virksomhed. I denne artikel lægger jeg det raster åbent frem, som jeg bruger til at vurdere AI-værktøjer for mine kunder. Syv kriterier, ingen af dem et benchmark. Alle følgende sammenligninger her på bloggen bruger præcis dette raster.
Det vigtigste i korte træk
- Benchmarks siger kun lidt om nytten i driften — de måler laboratorieforhold, ikke din arbejdsdag.
- Syv kriterier afgør det i praksis: reel arbejdsbelastning, kontekstforbindelse, databeskyttelse, indførbarhed, samlede omkostninger, udtrædelsesomkostninger, udviklingstempo.
- Licensen er den mindste omkostningspost — og alligevel det hyppigste beslutningsanker.
- Udtrædelsesomkostninger undersøger næsten ingen, selv om de over årene bliver dyrere end indgangsprisen.
- Rasteret erstatter ikke en beslutning. Det sørger blot for, at du stiller de rigtige spørgsmål, inden du træffer den.
Hvorfor jeg bruger mit eget raster
Når en ny model udkommer, ligger sammenligningstabellerne på nettet inden for få timer. De viser pointtal i standardiserede tests: matematik, programmering, tekstforståelse. Det er ikke værdiløst — men det besvarer et spørgsmål, du slet ikke har stillet. Du vil ikke vide, hvilken model der løser en opgavesamling bedst. Du vil vide, om dit bogholderi bliver hurtigere færdigt med den, og om advokatkontoret ved siden af ikke pludselig finder dine kontraktudkast i et fremmed træningsdatasæt.
Dertil kommer: Afstanden mellem de førende modeller er blevet markant mindre i de seneste to år. Til de allerfleste opgaver i SMV’er — e-mails, resuméer, analyser, udkast — leverer alle store udbydere brugbare resultater. Den forskel, der bærer dit projekt eller får det til at falde, ligger et andet sted.
En oplysning først: Jeg tjener mine penge på rådgivning og træning omkring Claude. Det farver naturligvis mine vurderinger. Netop derfor ligger dette raster åbent — du kan regne efter med det og nå frem til et andet resultat end jeg. I de følgende sammenligninger nævner jeg desuden udtrykkeligt i hver artikel de tilfælde, hvor et andet værktøj er det bedre valg.
Kriterium 1: reel arbejdsbelastning i stedet for demo-prompt
Ethvert værktøj ser godt ud i demoen. Spørgsmålet er, hvad der sker, når du fodrer det med dit faktiske arbejde: det 40 sider lange tilbud, det Excel-ark, der er vokset over tid, mailtråden gennem syv måneder med tre kontaktpersoner.
Sådan tester jeg det: Jeg tager tre til fem opgaver, der falder ugentligt i driften, og lader hver kandidat løse dem — med rigtige dokumenter, ikke med eksempeldata. Der bedømmes ikke på, hvilket resultat der lyder pænest, men på hvor meget efterarbejde der skal til, før det kan bruges. Et værktøj, der er brillant i 80 procent af tilfældene og i 20 procent leverer ubrugeligt vrøvl, som man først skal lede efter, er dårligere i hverdagen end et, der er gennemgående solidt.
Kriterium 2: kontekstforbindelse
En sprogmodel uden adgang til dine informationer er en meget belæst praktikant på første arbejdsdag. Den kender verden, men ikke din virksomhed. Det egentlige spring i nytte opstår der, hvor værktøjet får fat i dine data: i filer, i postkassen, i arkivet, i fagsystemet.
De afgørende spørgsmål: Kan jeg lægge filer og mapper permanent ind, eller skal jeg uploade dem på ny i hver samtale? Findes der konnektorer til de systemer, vi alligevel bruger? Og kan man bygge sin egen forbindelse, hvis der ikke findes noget færdigt til vores fagsystem — for eksempel via Model Context Protocol?
Kriterium 3: databeskyttelse og aftalegrundlag
Her ligger den dyreste misforståelse, jeg møder i rådgivningssamtaler — og den handler ikke om valget af udbyder, men om valget af abonnement.
Hos de store udbydere gælder det samme mønster: I privatabonnementerne bruges indhold som standard til træning af modellerne, et opt-out er muligt. I erhvervsabonnementerne foregår der som standard ingen træning på dit indhold. Det betyder i klar tale: Medarbejderen, der lige får en kundekontrakt resumeret med sin private gratisadgang, er databeskyttelsesproblemet — ikke valget af udbyder på direktionsniveau.
Hvad jeg konkret undersøger: Trænes der på vores data, og fra hvilket abonnement gør man det ikke længere? Findes der en databehandleraftale, og hvem er aftalepart? Hvor ligger data? Hvor længe opbevares de, og kan det konfigureres? Hvilke underleverandører er involveret?
Det er en praktisk vurdering fra rådgivningen, ikke juridisk rådgivning. Til en bindende vurdering af din konkrete situation har du brug for din databeskyttelsesrådgiver eller et advokatkontor.
Kriterium 4: indførbarhed i teamet
Et værktøj, som kun de to teknikinteresserede kolleger kan betjene, ændrer intet ved driftsresultatet. Spørgsmålet er ikke, hvor god softwaren er i bedste fald, men hvor mange mennesker der rent faktisk vil bruge den i hverdagen.
Hertil hører noget uspektakulært: Findes der en central brugeradministration? Kan det hele kobles til det eksisterende login? Kan jeg som administrator se, hvem der bruger det — og hvem der ikke gør? Og hvor meget oplæring kræver det realistisk, før nogen uden forkundskaber bliver produktiv med det? Min erfaring: To til tre ledsagede timer per person giver mere end nogen funktionsliste. Hvordan en sådan indføring forløber struktureret, har jeg beskrevet i seksugersplanen.
Kriterium 5: samlede omkostninger over tolv måneder
Licensgebyret er den post, alle taler om, og den mindste af de tre. Regn i stedet sådan her:
- Licens: pris per plads × antal personer × tolv måneder. Vær opmærksom på minimumsaftag og på, om en basislicens er en forudsætning — hos nogle udbydere er den annoncerede pris kun tillægsprisen.
- Indføring: udvælgelse, opsætning, retningslinje, forbindelse til dine systemer. Engangsudgift, men sjældent lille.
- Oplæring og opfølgning: ikke den enkeltstående fremvisning, men støtten i de første måneder, hvor spørgsmålene først dukker op.
Ved ti personer ligger licensomkostningerne afhængigt af udbyder i det lave firecifrede område om året. Indføring og oplæring ligger erfaringsmæssigt over det. Sammenligner man kun licensen, optimerer man den mindste løftestang.
Kriterium 6: udtrædelsesomkostninger
Det kriterium, der næsten aldrig optræder i udvælgelsesprocesser — og som bliver dyrere for hver måned. Spørgsmålet lyder: Hvad koster det at skifte om to år?
Konkret: Får jeg mine samtaleforløb, gemte dokumenter og selvbyggede skabeloner ud igen, og i hvilket format? Hvor meget arbejde ligger der i konfiguration og forbindelser, som går tabt ved et skifte? Og hvor dybt har værktøjet gravet sig ned i arbejdsgange, der så skal skrives om?
Min tommelfingerregel: Alt, du selv formulerer — retningslinjer, skabeloner, bearbejdet virksomhedsviden — bør ligge i et format, du også kan læse uden udbyderen. Simple tekstfiler i dit eget arkiv er ikke et tilbageskridt, men en forsikring.
Kriterium 7: tempoet i produktudviklingen
Et tveægget kriterium. Højt tempo betyder, at dit værktøj om et år kan markant mere end i dag — uden at du skal gøre noget. Men det betyder også, at dit undervisningsmateriale forældes, at brugerflader flytter sig, og at en funktion, som du har bygget en arbejdsgang op omkring, kan forsvinde igen.
Det, jeg vurderer her, er mindre hastigheden end pålideligheden: Varsler udbyderen ændringer? Findes der overgangsfrister? Forbliver snitfladerne stabile, selv når brugerfladen ændrer sig? For en virksomhed, der bygger arbejdsgange på et værktøj, er forudsigelighed mere værd end den næste funktion.
Sådan bruger du rasteret
Ikke alle syv kriterier vejer lige tungt — det afhænger af din situation. Et revisionskontor vægter databeskyttelse og udtrædelsesomkostninger højt. Et reklamebureau vægter reel arbejdsbelastning og kontekstforbindelse højt og kan være mere pragmatisk med databeskyttelsen, så længe der ikke er klientdata i spil.
Mit forslag: Tildel vægte inden sammenligningen — hvilke tre kriterier er de vigtigste for dig? Først derefter kigger du på værktøjerne. Den omvendte vej sker det jævnligt, at en imponerende detalje forskyder vægtningen bagefter.
Ofte stillede spørgsmål
Er benchmarks helt værdiløse?
Nej. De viser pålideligt, om en model falder groft igennem i en kategori. Til valget mellem de tre eller fire førende udbydere duer de dog næppe, fordi forskellene der er små, og testbetingelserne ligger langt fra din arbejdsdag.
Hvor lang tid tager en vurdering efter dette raster?
For to kandidater realistisk to til tre uger: en uge til testopgaverne, en til gennemgang af databeskyttelse og aftaler, dertil den tid, dine fagafdelinger skal bruge på at melde tilbage. Den, der afgør det på en eftermiddag, afgør det på mavefornemmelse — hvad der somme tider rækker, men så bevidst, tak.
Kan vi ikke bare bruge flere værktøjer parallelt?
Det kan I — det koster bare mere, end de fleste regner med. Ikke i licensgebyrer, men i koordinering, oplæring og databeskyttelsesarbejde per ekstra værktøj. Min anbefaling er ét standardværktøj plus ét bevidst tilladt andetværktøj.
Gælder rasteret også for små virksomheder?
Ja, bare med mindre arbejde. Ved tre personer gennemgår du de samme syv punkter, men på få timer i stedet for uger. Kriterierne ændrer sig ikke, kun dybden af gennemgangen.
Hvilket værktøj anbefaler du så?
Det afhænger af din vægtning — det er derfor, dette raster findes. I de følgende artikler i denne serie regner jeg de gængse kandidater igennem én for én, hver gang med de tilfælde, hvor de vinder, og dem, hvor de taber.