De flesta AI-j\u00e4mf\u00f6relser m\u00e4ter fel saker. De st\u00e4ller benchmark-po\u00e4ng bredvid varandra, j\u00e4mf\u00f6r kontextf\u00f6nster och utser en vinnare \u2014 och besvarar d\u00e4rmed inte en enda fr\u00e5ga som faktiskt uppst\u00e5r i ett verkligt f\u00f6retag. I det h\u00e4r inl\u00e4gget l\u00e4gger jag fram rastret som jag anv\u00e4nder f\u00f6r att bed\u00f6ma AI-verktyg \u00e5t mina kunder. Sju kriterier, inget av dem ett benchmark. Alla f\u00f6ljande j\u00e4mf\u00f6relser p\u00e5 den h\u00e4r bloggen anv\u00e4nder exakt det h\u00e4r rastret.<\/p>\n\n\n\n
N\u00e4r en ny modell sl\u00e4pps ligger j\u00e4mf\u00f6relsetabellerna ute p\u00e5 n\u00e4tet inom n\u00e5gra timmar. De visar po\u00e4ng i standardiserade tester: matematik, programmering, textf\u00f6rst\u00e5else. Det \u00e4r inte v\u00e4rdel\u00f6st \u2014 men det besvarar en fr\u00e5ga du aldrig st\u00e4llde. Du vill inte veta vilken modell som l\u00f6ser en uppgiftssamling b\u00e4st. Du vill veta om din bokf\u00f6ring blir klar snabbare med den, och om advokatbyr\u00e5n intill inte pl\u00f6tsligt hittar dina avtalsutkast i n\u00e5gon annans tr\u00e4ningsdata.<\/p>\n\n\n\n
Till det kommer: avst\u00e5ndet mellan de ledande modellerna har minskat betydligt de senaste tv\u00e5 \u00e5ren. F\u00f6r de allra flesta uppgifter i sm\u00e5 och medelstora f\u00f6retag \u2014 mejl, sammanfattningar, analyser, utkast \u2014 levererar alla stora leverant\u00f6rer anv\u00e4ndbara resultat. Skillnaden som b\u00e4r eller f\u00e4ller ditt projekt ligger n\u00e5gon annanstans.<\/p>\n\n\n\n
En upplysning f\u00f6rst:<\/strong> Jag tj\u00e4nar mina pengar p\u00e5 r\u00e5dgivning och utbildning kring Claude. Det f\u00e4rgar naturligtvis av sig p\u00e5 mina bed\u00f6mningar. Just d\u00e4rf\u00f6r ligger det h\u00e4r rastret \u00f6ppet \u2014 du kan r\u00e4kna efter sj\u00e4lv och komma till ett annat resultat \u00e4n jag. I de f\u00f6ljande j\u00e4mf\u00f6relserna n\u00e4mner jag dessutom i varje inl\u00e4gg uttryckligen de fall d\u00e4r ett annat verktyg \u00e4r det b\u00e4ttre valet.<\/p>\n\n\n\n Varje verktyg ser bra ut i demon. Fr\u00e5gan \u00e4r vad som h\u00e4nder n\u00e4r du matar det med ditt faktiska arbete: den 40 sidor l\u00e5nga offerten, det Excel-ark som vuxit fram \u00f6ver tid, mejltr\u00e5den \u00f6ver sju m\u00e5nader med tre kontaktpersoner.<\/p>\n\n\n\n S\u00e5 testar jag det:<\/strong> Jag tar tre till fem uppgifter som dyker upp varje vecka i verksamheten och l\u00e5ter varje kandidat l\u00f6sa dem \u2014 med riktiga underlag, inte med exempeldata. Det som bed\u00f6ms \u00e4r inte vilket resultat som l\u00e5ter finast, utan hur mycket efterarbete som kr\u00e4vs innan det g\u00e5r att anv\u00e4nda. Ett verktyg som \u00e4r briljant i 80 procent av fallen och i 20 procent levererar oanv\u00e4ndbart nonsens som man f\u00f6rst m\u00e5ste leta r\u00e4tt p\u00e5 \u00e4r i vardagen s\u00e4mre \u00e4n ett som \u00e4r genomg\u00e5ende solitt.<\/p>\n\n\n\n En spr\u00e5kmodell utan tillg\u00e5ng till din information \u00e4r en mycket bel\u00e4st praktikant p\u00e5 sin f\u00f6rsta arbetsdag. Den k\u00e4nner v\u00e4rlden, men inte ditt f\u00f6retag. Det verkliga spr\u00e5nget i nytta uppst\u00e5r d\u00e4r verktyget kommer \u00e5t dina data: filerna, brevl\u00e5dan, arkivet, verksamhetssystemet.<\/p>\n\n\n\n De avg\u00f6rande fr\u00e5gorna: kan jag l\u00e4gga upp filer och mappar permanent, eller m\u00e5ste jag ladda upp dem p\u00e5 nytt i varje samtal? Finns det konnektorer till de system vi \u00e4nd\u00e5 anv\u00e4nder? Och g\u00e5r det att bygga en egen anslutning om det inte finns n\u00e5got f\u00e4rdigt f\u00f6r v\u00e5rt verksamhetssystem \u2014 till exempel via Model Context Protocol<\/a>?<\/p>\n\n\n\n H\u00e4r ligger det dyraste missf\u00f6rst\u00e5ndet jag m\u00f6ter i r\u00e5dgivningssamtal \u2014 och det handlar inte om valet av leverant\u00f6r, utan om valet av abonnemang.<\/p>\n\n\n\n Hos de stora leverant\u00f6rerna g\u00e4ller samma m\u00f6nster: i privatabonnemangen<\/strong> anv\u00e4nds inneh\u00e5llet som standard f\u00f6r att tr\u00e4na modellerna, med m\u00f6jlighet att v\u00e4lja bort det. I f\u00f6retagsabonnemangen<\/strong> sker som standard ingen tr\u00e4ning p\u00e5 ditt inneh\u00e5ll. I klartext: medarbetaren som snabbt l\u00e5ter sitt privata gratiskonto sammanfatta ett kundavtal \u00e4r dataskyddsproblemet \u2014 inte leverant\u00f6rsvalet p\u00e5 ledningsniv\u00e5.<\/p>\n\n\n\n Vad jag konkret granskar: tr\u00e4nas det p\u00e5 v\u00e5ra data, och fr\u00e5n vilket abonnemang g\u00e4ller inte det l\u00e4ngre? Finns det ett personuppgiftsbitr\u00e4desavtal, och vem \u00e4r avtalspart? Var ligger data? Hur l\u00e4nge sparas de, och g\u00e5r det att konfigurera? Vilka underleverant\u00f6rer \u00e4r inkopplade?<\/p>\n\n\n\n Det h\u00e4r \u00e4r en praktisk bed\u00f6mning fr\u00e5n r\u00e5dgivningen, inte juridisk r\u00e5dgivning. F\u00f6r en bindande bed\u00f6mning av ditt konkreta fall beh\u00f6ver du ditt dataskyddsombud eller en advokatbyr\u00e5.<\/p>\n\n\n\n Ett verktyg som bara de tv\u00e5 tekniskt intresserade kollegorna kan hantera f\u00f6r\u00e4ndrar ingenting i resultatet. Fr\u00e5gan \u00e4r inte hur bra programvaran \u00e4r i b\u00e4sta fall, utan hur m\u00e5nga m\u00e4nniskor som faktiskt kommer att anv\u00e4nda den i vardagen.<\/p>\n\n\n\nKriterium 1: verklig arbetsbelastning i st\u00e4llet f\u00f6r demo-prompt<\/h2>\n\n\n\n
Kriterium 2: kontextanslutning<\/h2>\n\n\n\n
Kriterium 3: dataskydd och avtalsl\u00e4ge<\/h2>\n\n\n\n
Kriterium 4: inf\u00f6rbarhet i teamet<\/h2>\n\n\n\n