De meeste AI-vergelijkingen meten het verkeerde. Ze zetten benchmarkscores naast elkaar, vergelijken contextvensters en kronen een winnaar — en beantwoorden daarmee geen enkele vraag die in een echt bedrijf daadwerkelijk opkomt. In dit artikel leg ik het raster open waarmee ik AI-gereedschappen voor klanten beoordeel. Zeven criteria, geen daarvan een benchmark. Alle volgende vergelijkingen op deze blog gebruiken precies dit raster.
Het belangrijkste in het kort
- Benchmarks zeggen weinig over het nut in het bedrijf — ze meten laboratoriumomstandigheden, niet uw werkdag.
- Zeven criteria geven in de praktijk de doorslag: reële werklast, contextkoppeling, gegevensbescherming, invoerbaarheid, totale kosten, uitstapkosten, ontwikkeltempo.
- De licentie is het kleinste kostenblok — en toch het vaakst gebruikte beslisanker.
- Uitstapkosten toetst bijna niemand, hoewel ze over de jaren duurder uitvallen dan de instapprijs.
- Het raster vervangt geen beslissing. Het zorgt er alleen voor dat u de juiste vragen stelt voordat u er een neemt.
Waarom ik een eigen raster gebruik
Verschijnt er een nieuw model, dan staan de vergelijkingstabellen binnen enkele uren online. Ze tonen scores in gestandaardiseerde tests: wiskunde, programmeren, tekstbegrip. Dat is niet waardeloos — maar het beantwoordt een vraag die u helemaal niet gesteld hebt. U wilt niet weten welk model een verzameling opgaven beter oplost. U wilt weten of uw boekhouding er sneller mee klaar is en of het advocatenkantoor hiernaast uw contractconcepten niet plots terugvindt in een vreemde trainingsdataset.
Daar komt bij: het verschil tussen de leidende modellen is de afgelopen twee jaar duidelijk kleiner geworden. Voor verreweg de meeste taken in het mkb — e-mails, samenvattingen, analyses, concepten — leveren alle grote aanbieders bruikbare resultaten. Het verschil dat uw project draagt of laat mislukken, ligt elders.
Vooraf een openbaarmaking: ik verdien mijn geld met advies en training rond Claude. Dat kleurt uiteraard mijn inschattingen. Juist daarom ligt dit raster open — u kunt ermee narekenen en tot een andere uitkomst komen dan ik. In de volgende vergelijkingen noem ik bovendien in elk artikel uitdrukkelijk de gevallen waarin een ander gereedschap de betere keuze is.
Criterium 1: reële werklast in plaats van demoprompt
Elk gereedschap ziet er in de demo goed uit. De vraag is wat er gebeurt als u het met uw werkelijke werk voedt: de offerte van 40 pagina’s, de organisch gegroeide Excel-tabel, de mailwisseling over zeven maanden met drie contactpersonen.
Zo test ik dat: ik neem drie tot vijf taken die in het bedrijf wekelijks terugkomen en laat ze door elke kandidaat uitvoeren — met echte documenten, niet met voorbeelddata. Beoordeeld wordt niet welk resultaat het mooist klinkt, maar hoeveel nawerk nodig is tot het bruikbaar is. Een gereedschap dat in 80 procent van de gevallen briljant is en in 20 procent onbruikbare onzin levert die je eerst moet opsporen, is in de dagelijkse praktijk slechter dan een dat doorlopend solide blijft.
Criterium 2: contextkoppeling
Een taalmodel zonder toegang tot uw informatie is een zeer belezen stagiair op zijn eerste werkdag. Het kent de wereld, maar niet uw bedrijf. De eigenlijke sprong in nut ontstaat daar waar het gereedschap bij uw gegevens komt: bij bestanden, bij de mailbox, bij het archief, bij de vakapplicatie.
De doorslaggevende vragen: kan ik bestanden en mappen permanent opslaan, of moet ik ze in elk gesprek opnieuw uploaden? Zijn er connectoren met de systemen die we toch al gebruiken? En laat zich een eigen koppeling bouwen als er voor ons vaksysteem niets kant-en-klaars is — bijvoorbeeld via het Model Context Protocol?
Criterium 3: gegevensbescherming en contractsituatie
Hier ligt de duurste misvatting die ik in adviesgesprekken tegenkom — en die gaat niet over de aanbiederskeuze, maar over de tariefkeuze.
Bij de grote aanbieders geldt hetzelfde patroon: in de particuliere tarieven worden inhouden standaard gebruikt voor het trainen van de modellen, een opt-out is mogelijk. In de zakelijke tarieven vindt standaard geen training op uw inhouden plaats. Dat betekent in gewone taal: de medewerker die met zijn privé-gratistoegang even een klantcontract laat samenvatten, is het privacyprobleem — niet de aanbiederskeuze op directieniveau.
Wat ik concreet toets: wordt er op onze gegevens getraind, en vanaf welk tarief niet meer? Is er een verwerkersovereenkomst, en wie is de contractpartij? Waar staan de gegevens? Hoe lang worden ze bewaard, en laat zich dat instellen? Welke subverwerkers zijn betrokken?
Dit is een praktijkinschatting uit de advisering, geen juridisch advies. Voor de bindende beoordeling van uw concrete geval hebt u uw functionaris voor gegevensbescherming of een advocatenkantoor nodig.
Criterium 4: invoerbaarheid in het team
Een gereedschap dat alleen de twee technisch onderlegde collega’s kunnen bedienen, verandert niets aan het bedrijfsresultaat. De vraag is niet hoe goed de software in het beste geval is, maar hoeveel mensen haar in de dagelijkse praktijk werkelijk zullen gebruiken.
Daarbij hoort ook het onspectaculaire: is er een centraal gebruikersbeheer? Laat het geheel zich koppelen aan de bestaande aanmelding? Kan ik als beheerder zien wie het gebruikt — en wie niet? En hoeveel scholing is realistisch nodig tot iemand zonder voorkennis er productief mee wordt? Mijn ervaring: twee tot drie begeleide uren per persoon brengen meer op dan elke functielijst. Hoe zo’n invoering gestructureerd verloopt, heb ik beschreven in het zesweken-plan.
Criterium 5: totale kosten over twaalf maanden
De licentiekosten zijn de post waarover iedereen praat, en de kleinste van de drie. Reken in plaats daarvan zo:
- Licentie: prijs per seat × aantal personen × twaalf maanden. Let op minimumafnames en op de vraag of een basislicentie wordt verondersteld — bij sommige aanbieders is de geadverteerde prijs alleen de meerprijs.
- Invoering: selectie, inrichting, richtlijn, koppeling met uw systemen. Eenmalig, maar zelden klein.
- Scholing en begeleiding: niet de eenmalige demonstratie, maar de ondersteuning in de eerste maanden, wanneer de vragen pas opkomen.
Bij tien personen liggen de licentiekosten afhankelijk van de aanbieder in het lage viercijferige bereik per jaar. Invoering en scholing liggen ervaringsgewijs daarboven. Wie alleen de licentie vergelijkt, optimaliseert de kleinste hefboom.
Criterium 6: uitstapkosten
Het criterium dat in selectietrajecten bijna nooit voorkomt — en dat met elke maand duurder wordt. De vraag luidt: wat kost het om over twee jaar te wisselen?
Concreet: krijg ik mijn gespreksgeschiedenis, opgeslagen documenten en zelfgebouwde sjablonen er weer uit, en in welk formaat? Hoeveel werk zit er in configuratie en koppelingen dat bij een wissel verloren gaat? En hoe diep heeft het gereedschap zich ingegraven in werkprocessen die dan opnieuw geschreven moeten worden?
Mijn vuistregel: alles wat u zelf formuleert — richtlijnen, sjablonen, bewerkte bedrijfskennis — hoort in een formaat te staan dat u ook zonder de aanbieder nog kunt lezen. Eenvoudige tekstbestanden in uw eigen archief zijn geen stap terug, maar een verzekering.
Criterium 7: tempo van de productontwikkeling
Een tweesnijdend criterium. Een hoog tempo betekent dat uw gereedschap over een jaar duidelijk meer kan dan vandaag — zonder dat u er iets voor hoeft te doen. Maar het betekent ook dat uw scholingsmateriaal veroudert, dat bedieningsschermen verschuiven en dat een functie waar u een proces omheen hebt gebouwd, weer kan verdwijnen.
Wat ik hier beoordeel is minder de snelheid dan de betrouwbaarheid: kondigt de aanbieder wijzigingen aan? Zijn er overgangstermijnen? Blijven koppelingen stabiel, ook als de interface verandert? Voor een bedrijf dat processen op één gereedschap steunt, is voorspelbaarheid meer waard dan de volgende functie.
Hoe u het raster toepast
Niet alle zeven criteria wegen even zwaar — dat hangt van uw situatie af. Een belastingadvieskantoor weegt gegevensbescherming en uitstapkosten zwaar. Een reclamebureau weegt reële werklast en contextkoppeling zwaar en kan bij gegevensbescherming pragmatischer zijn, zolang er geen cliëntgegevens in het spel zijn.
Mijn voorstel: geef vóór de vergelijking gewichten — welke drie criteria zijn voor u de belangrijkste? Pas daarna kijkt u naar de gereedschappen. Andersom gebeurt het geregeld dat een indrukwekkend detail de weging achteraf verschuift.
Veelgestelde vragen
Zijn benchmarks helemaal waardeloos?
Nee. Ze laten betrouwbaar zien of een model in een categorie grof afvalt. Voor de keuze tussen de drie of vier leidende aanbieders deugen ze echter nauwelijks, omdat de verschillen daar klein zijn en de testomstandigheden ver van uw werkdag af staan.
Hoe lang duurt een beoordeling volgens dit raster?
Voor twee kandidaten realistisch twee tot drie weken: een week voor de testtaken, een voor de toetsing van gegevensbescherming en contracten, plus de tijd die uw vakafdelingen nodig hebben voor terugkoppeling. Wie dat op één middag beslist, beslist op onderbuikgevoel — wat soms volstaat, maar dan graag bewust.
Kunnen we niet gewoon meerdere gereedschappen naast elkaar gebruiken?
Dat kunt u — het kost alleen meer dan de meesten verwachten. Niet aan licentiekosten, maar aan afstemming, scholing en privacywerk per extra gereedschap. Mijn aanbeveling is één standaardgereedschap plus één bewust toegelaten tweede gereedschap.
Geldt het raster ook voor kleine bedrijven?
Ja, alleen met minder inspanning. Bij drie personen toetst u dezelfde zeven punten, maar in enkele uren in plaats van weken. De criteria veranderen niet, alleen de diepgang van de toetsing.
Welk gereedschap raadt u dan aan?
Dat hangt af van uw weging — daarvoor is dit raster er. In de volgende artikelen van deze reeks reken ik de gangbare kandidaten stuk voor stuk door, telkens met de gevallen waarin ze winnen en die waarin ze verliezen.