De fleste AI-sammenligninger m\u00e5ler det forkerte. De stiller benchmark-point op ved siden af hinanden, sammenligner kontekstvinduer og k\u00e5rer en vinder \u2014 og besvarer dermed ikke et eneste sp\u00f8rgsm\u00e5l, der reelt opst\u00e5r i en rigtig virksomhed. I denne artikel l\u00e6gger jeg det raster \u00e5bent frem, som jeg bruger til at vurdere AI-v\u00e6rkt\u00f8jer for mine kunder. Syv kriterier, ingen af dem et benchmark. Alle f\u00f8lgende sammenligninger her p\u00e5 bloggen bruger pr\u00e6cis dette raster.<\/p>\n\n\n\n
N\u00e5r en ny model udkommer, ligger sammenligningstabellerne p\u00e5 nettet inden for f\u00e5 timer. De viser pointtal i standardiserede tests: matematik, programmering, tekstforst\u00e5else. Det er ikke v\u00e6rdil\u00f8st \u2014 men det besvarer et sp\u00f8rgsm\u00e5l, du slet ikke har stillet. Du vil ikke vide, hvilken model der l\u00f8ser en opgavesamling bedst. Du vil vide, om dit bogholderi bliver hurtigere f\u00e6rdigt med den, og om advokatkontoret ved siden af ikke pludselig finder dine kontraktudkast i et fremmed tr\u00e6ningsdatas\u00e6t.<\/p>\n\n\n\n
Dertil kommer: Afstanden mellem de f\u00f8rende modeller er blevet markant mindre i de seneste to \u00e5r. Til de allerfleste opgaver i SMV’er \u2014 e-mails, resum\u00e9er, analyser, udkast \u2014 leverer alle store udbydere brugbare resultater. Den forskel, der b\u00e6rer dit projekt eller f\u00e5r det til at falde, ligger et andet sted.<\/p>\n\n\n\n
En oplysning f\u00f8rst:<\/strong> Jeg tjener mine penge p\u00e5 r\u00e5dgivning og tr\u00e6ning omkring Claude. Det farver naturligvis mine vurderinger. Netop derfor ligger dette raster \u00e5bent \u2014 du kan regne efter med det og n\u00e5 frem til et andet resultat end jeg. I de f\u00f8lgende sammenligninger n\u00e6vner jeg desuden udtrykkeligt i hver artikel de tilf\u00e6lde, hvor et andet v\u00e6rkt\u00f8j er det bedre valg.<\/p>\n\n\n\n Ethvert v\u00e6rkt\u00f8j ser godt ud i demoen. Sp\u00f8rgsm\u00e5let er, hvad der sker, n\u00e5r du fodrer det med dit faktiske arbejde: det 40 sider lange tilbud, det Excel-ark, der er vokset over tid, mailtr\u00e5den gennem syv m\u00e5neder med tre kontaktpersoner.<\/p>\n\n\n\n S\u00e5dan tester jeg det:<\/strong> Jeg tager tre til fem opgaver, der falder ugentligt i driften, og lader hver kandidat l\u00f8se dem \u2014 med rigtige dokumenter, ikke med eksempeldata. Der bed\u00f8mmes ikke p\u00e5, hvilket resultat der lyder p\u00e6nest, men p\u00e5 hvor meget efterarbejde der skal til, f\u00f8r det kan bruges. Et v\u00e6rkt\u00f8j, der er brillant i 80 procent af tilf\u00e6ldene og i 20 procent leverer ubrugeligt vr\u00f8vl, som man f\u00f8rst skal lede efter, er d\u00e5rligere i hverdagen end et, der er gennemg\u00e5ende solidt.<\/p>\n\n\n\n En sprogmodel uden adgang til dine informationer er en meget bel\u00e6st praktikant p\u00e5 f\u00f8rste arbejdsdag. Den kender verden, men ikke din virksomhed. Det egentlige spring i nytte opst\u00e5r der, hvor v\u00e6rkt\u00f8jet f\u00e5r fat i dine data: i filer, i postkassen, i arkivet, i fagsystemet.<\/p>\n\n\n\n De afg\u00f8rende sp\u00f8rgsm\u00e5l: Kan jeg l\u00e6gge filer og mapper permanent ind, eller skal jeg uploade dem p\u00e5 ny i hver samtale? Findes der konnektorer til de systemer, vi alligevel bruger? Og kan man bygge sin egen forbindelse, hvis der ikke findes noget f\u00e6rdigt til vores fagsystem \u2014 for eksempel via Model Context Protocol<\/a>?<\/p>\n\n\n\n Her ligger den dyreste misforst\u00e5else, jeg m\u00f8der i r\u00e5dgivningssamtaler \u2014 og den handler ikke om valget af udbyder, men om valget af abonnement.<\/p>\n\n\n\n Hos de store udbydere g\u00e6lder det samme m\u00f8nster: I privatabonnementerne<\/strong> bruges indhold som standard til tr\u00e6ning af modellerne, et opt-out er muligt. I erhvervsabonnementerne<\/strong> foreg\u00e5r der som standard ingen tr\u00e6ning p\u00e5 dit indhold. Det betyder i klar tale: Medarbejderen, der lige f\u00e5r en kundekontrakt resumeret med sin private gratisadgang, er databeskyttelsesproblemet \u2014 ikke valget af udbyder p\u00e5 direktionsniveau.<\/p>\n\n\n\n Hvad jeg konkret unders\u00f8ger: Tr\u00e6nes der p\u00e5 vores data, og fra hvilket abonnement g\u00f8r man det ikke l\u00e6ngere? Findes der en databehandleraftale, og hvem er aftalepart? Hvor ligger data? Hvor l\u00e6nge opbevares de, og kan det konfigureres? Hvilke underleverand\u00f8rer er involveret?<\/p>\n\n\n\n Det er en praktisk vurdering fra r\u00e5dgivningen, ikke juridisk r\u00e5dgivning. Til en bindende vurdering af din konkrete situation har du brug for din databeskyttelsesr\u00e5dgiver eller et advokatkontor.<\/p>\n\n\n\n Et v\u00e6rkt\u00f8j, som kun de to teknikinteresserede kolleger kan betjene, \u00e6ndrer intet ved driftsresultatet. Sp\u00f8rgsm\u00e5let er ikke, hvor god softwaren er i bedste fald, men hvor mange mennesker der rent faktisk vil bruge den i hverdagen.<\/p>\n\n\n\nKriterium 1: reel arbejdsbelastning i stedet for demo-prompt<\/h2>\n\n\n\n
Kriterium 2: kontekstforbindelse<\/h2>\n\n\n\n
Kriterium 3: databeskyttelse og aftalegrundlag<\/h2>\n\n\n\n
Kriterium 4: indf\u00f8rbarhed i teamet<\/h2>\n\n\n\n