De flesta AI-jämförelser mäter fel saker. De ställer benchmark-poäng bredvid varandra, jämför kontextfönster och utser en vinnare — och besvarar därmed inte en enda fråga som faktiskt uppstår i ett verkligt företag. I det här inlägget lägger jag fram rastret som jag använder för att bedöma AI-verktyg åt mina kunder. Sju kriterier, inget av dem ett benchmark. Alla följande jämförelser på den här bloggen använder exakt det här rastret.
Det viktigaste i korthet
- Benchmarks säger lite om nyttan i den dagliga driften — de mäter laboratorieförhållanden, inte din arbetsvardag.
- Sju kriterier avgör i praktiken: verklig arbetsbelastning, kontextanslutning, dataskydd, införbarhet, totalkostnad, utträdeskostnad, utvecklingstempo.
- Licensen är den minsta kostnadsposten — och ändå det vanligaste ankaret för beslutet.
- Utträdeskostnaden granskar nästan ingen, trots att den över åren blir dyrare än ingångspriset.
- Rastret ersätter inget beslut. Det ser bara till att du ställer rätt frågor innan du fattar det.
Varför jag använder ett eget raster
När en ny modell släpps ligger jämförelsetabellerna ute på nätet inom några timmar. De visar poäng i standardiserade tester: matematik, programmering, textförståelse. Det är inte värdelöst — men det besvarar en fråga du aldrig ställde. Du vill inte veta vilken modell som löser en uppgiftssamling bäst. Du vill veta om din bokföring blir klar snabbare med den, och om advokatbyrån intill inte plötsligt hittar dina avtalsutkast i någon annans träningsdata.
Till det kommer: avståndet mellan de ledande modellerna har minskat betydligt de senaste två åren. För de allra flesta uppgifter i små och medelstora företag — mejl, sammanfattningar, analyser, utkast — levererar alla stora leverantörer användbara resultat. Skillnaden som bär eller fäller ditt projekt ligger någon annanstans.
En upplysning först: Jag tjänar mina pengar på rådgivning och utbildning kring Claude. Det färgar naturligtvis av sig på mina bedömningar. Just därför ligger det här rastret öppet — du kan räkna efter själv och komma till ett annat resultat än jag. I de följande jämförelserna nämner jag dessutom i varje inlägg uttryckligen de fall där ett annat verktyg är det bättre valet.
Kriterium 1: verklig arbetsbelastning i stället för demo-prompt
Varje verktyg ser bra ut i demon. Frågan är vad som händer när du matar det med ditt faktiska arbete: den 40 sidor långa offerten, det Excel-ark som vuxit fram över tid, mejltråden över sju månader med tre kontaktpersoner.
Så testar jag det: Jag tar tre till fem uppgifter som dyker upp varje vecka i verksamheten och låter varje kandidat lösa dem — med riktiga underlag, inte med exempeldata. Det som bedöms är inte vilket resultat som låter finast, utan hur mycket efterarbete som krävs innan det går att använda. Ett verktyg som är briljant i 80 procent av fallen och i 20 procent levererar oanvändbart nonsens som man först måste leta rätt på är i vardagen sämre än ett som är genomgående solitt.
Kriterium 2: kontextanslutning
En språkmodell utan tillgång till din information är en mycket beläst praktikant på sin första arbetsdag. Den känner världen, men inte ditt företag. Det verkliga språnget i nytta uppstår där verktyget kommer åt dina data: filerna, brevlådan, arkivet, verksamhetssystemet.
De avgörande frågorna: kan jag lägga upp filer och mappar permanent, eller måste jag ladda upp dem på nytt i varje samtal? Finns det konnektorer till de system vi ändå använder? Och går det att bygga en egen anslutning om det inte finns något färdigt för vårt verksamhetssystem — till exempel via Model Context Protocol?
Kriterium 3: dataskydd och avtalsläge
Här ligger det dyraste missförståndet jag möter i rådgivningssamtal — och det handlar inte om valet av leverantör, utan om valet av abonnemang.
Hos de stora leverantörerna gäller samma mönster: i privatabonnemangen används innehållet som standard för att träna modellerna, med möjlighet att välja bort det. I företagsabonnemangen sker som standard ingen träning på ditt innehåll. I klartext: medarbetaren som snabbt låter sitt privata gratiskonto sammanfatta ett kundavtal är dataskyddsproblemet — inte leverantörsvalet på ledningsnivå.
Vad jag konkret granskar: tränas det på våra data, och från vilket abonnemang gäller inte det längre? Finns det ett personuppgiftsbiträdesavtal, och vem är avtalspart? Var ligger data? Hur länge sparas de, och går det att konfigurera? Vilka underleverantörer är inkopplade?
Det här är en praktisk bedömning från rådgivningen, inte juridisk rådgivning. För en bindande bedömning av ditt konkreta fall behöver du ditt dataskyddsombud eller en advokatbyrå.
Kriterium 4: införbarhet i teamet
Ett verktyg som bara de två tekniskt intresserade kollegorna kan hantera förändrar ingenting i resultatet. Frågan är inte hur bra programvaran är i bästa fall, utan hur många människor som faktiskt kommer att använda den i vardagen.
Hit hör det ospektakulära: finns det en central användarhantering? Går det hela att koppla till den befintliga inloggningen? Kan jag som administratör se vem som använder det — och vem som inte gör det? Och hur mycket utbildning krävs realistiskt innan någon utan förkunskaper blir produktiv med det? Min erfarenhet: två till tre handledda timmar per person ger mer än vilken funktionslista som helst. Hur ett sådant införande går till strukturerat har jag beskrivit i sexveckorsplanen.
Kriterium 5: totalkostnad över tolv månader
Licensavgiften är posten som alla pratar om, och den minsta av de tre. Räkna så här i stället:
- Licens: pris per plats × antal personer × tolv månader. Se upp med minimiantal och med om en baslicens förutsätts — hos vissa leverantörer är det marknadsförda priset bara tillägget.
- Införande: urval, uppsättning, riktlinje, anslutning till dina system. En engångskostnad, men sällan liten.
- Utbildning och handledning: inte den enstaka demonstrationen, utan stödet under de första månaderna, när frågorna först dyker upp.
Vid tio personer ligger licenskostnaden beroende på leverantör i det låga fyrsiffriga spannet per år. Införande och utbildning ligger erfarenhetsmässigt över det. Den som bara jämför licensen optimerar den minsta hävstången.
Kriterium 6: utträdeskostnad
Kriteriet som nästan aldrig dyker upp i urvalsprocesser — och som blir dyrare för varje månad. Frågan lyder: vad kostar det att byta om två år?
Konkret: får jag ut min samtalshistorik, mina uppladdade dokument och egenbyggda mallar igen, och i vilket format? Hur mycket arbete ligger i konfiguration och anslutningar som går förlorat vid ett byte? Och hur djupt har verktyget grävt ner sig i arbetsflöden som då måste skrivas om?
Min tumregel: allt du själv formulerar — riktlinjer, mallar, bearbetad företagskunskap — bör ligga i ett format som du kan läsa även utan leverantören. Enkla textfiler i ditt eget arkiv är inget steg tillbaka, utan en försäkring.
Kriterium 7: tempot i produktutvecklingen
Ett tveeggat kriterium. Högt tempo betyder att ditt verktyg om ett år kan betydligt mer än i dag — utan att du behöver göra något. Men det betyder också att ditt utbildningsmaterial åldras, att gränssnitt flyttar på sig och att en funktion som du byggt ett arbetsflöde kring kan försvinna igen.
Det jag bedömer här är mindre hastigheten än pålitligheten: aviserar leverantören förändringar? Finns det övergångsfrister? Förblir gränssnitten mot andra system stabila, även när användargränssnittet ändras? För en verksamhet som stödjer sina flöden på ett verktyg är förutsägbarhet mer värd än nästa funktion.
Så använder du rastret
Alla sju kriterier väger inte lika tungt — det beror på din situation. En redovisningsbyrå viktar dataskydd och utträdeskostnad högt. En reklambyrå viktar verklig arbetsbelastning och kontextanslutning högt och kan vara mer pragmatisk kring dataskyddet, så länge inga klientdata är inblandade.
Mitt förslag: sätt vikterna innan jämförelsen — vilka tre kriterier är viktigast för dig? Först därefter tittar du på verktygen. Gör du tvärtom händer det regelbundet att en imponerande detalj förskjuter viktningen i efterhand.
Vanliga frågor
Är benchmarks helt värdelösa?
Nej. De visar pålitligt om en modell faller grovt igenom i en kategori. För valet mellan de tre eller fyra ledande leverantörerna duger de däremot knappast, eftersom skillnaderna där är små och testförhållandena ligger långt från din arbetsvardag.
Hur lång tid tar en bedömning enligt det här rastret?
För två kandidater realistiskt två till tre veckor: en vecka för testuppgifterna, en för dataskydds- och avtalsgranskning, plus den tid dina avdelningar behöver för att återkoppla. Den som avgör det på en eftermiddag beslutar på magkänsla — vilket ibland räcker, men då gärna medvetet.
Kan vi inte bara använda flera verktyg parallellt?
Det kan du — det kostar bara mer än de flesta räknar med. Inte i licensavgifter, utan i samordning, utbildning och dataskyddsarbete per ytterligare verktyg. Min rekommendation är ett standardverktyg plus ett medvetet tillåtet andraverktyg.
Gäller rastret även för små verksamheter?
Ja, bara med mindre arbete. Vid tre personer granskar du samma sju punkter, men på några timmar i stället för veckor. Kriterierna ändras inte, bara granskningens djup.
Vilket verktyg rekommenderar du då?
Det beror på din viktning — det är därför rastret finns. I de följande inläggen i den här serien går jag igenom de vanliga kandidaterna en och en, varje gång med de fall där de vinner och de fall där de förlorar.