La plupart des comparatifs d’IA mesurent la mauvaise chose. On aligne des scores de benchmarks, on compare des fenêtres de contexte, on désigne un vainqueur — et on ne répond à aucune des questions qui se posent réellement dans une entreprise. Dans cet article, je mets à plat la grille avec laquelle j’évalue les outils d’IA pour mes clientes et mes clients. Sept critères, dont aucun n’est un benchmark. Tous les comparatifs qui suivront sur ce blog utilisent exactement cette grille.
L’essentiel en bref
- Les benchmarks disent peu de chose de l’utilité au quotidien — ils mesurent des conditions de laboratoire, pas votre travail réel.
- Sept critères font la différence en pratique : charge de travail réelle, accès au contexte, protection des données, capacité de déploiement, coût total, coût de sortie, rythme de développement.
- La licence est le plus petit poste de coût — et pourtant le point d’ancrage le plus fréquent des décisions.
- Presque personne n’examine les coûts de sortie, alors qu’ils deviennent au fil des ans plus chers que le prix d’entrée.
- La grille ne remplace pas une décision. Elle fait seulement en sorte que vous posiez les bonnes questions avant d’en prendre une.
Pourquoi j’utilise ma propre grille
Quand un nouveau modèle sort, les tableaux comparatifs circulent en quelques heures. Ils affichent des scores dans des tests standardisés : mathématiques, programmation, compréhension de texte. Ce n’est pas sans valeur — mais cela répond à une question que vous n’avez pas posée. Vous ne voulez pas savoir quel modèle résout le mieux une collection d’exercices. Vous voulez savoir si votre comptabilité en finit plus vite et si le cabinet d’avocats d’à côté ne retrouvera pas soudain vos projets de contrat dans un jeu de données d’entraînement étranger.
À cela s’ajoute que l’écart entre les modèles de tête s’est nettement réduit ces deux dernières années. Pour la très grande majorité des tâches en PME — courriels, résumés, analyses, brouillons — tous les grands fournisseurs livrent des résultats utilisables. La différence qui fait tenir ou échouer votre projet se situe ailleurs.
Une mise au point préalable : je gagne ma vie avec du conseil et de la formation autour de Claude. Cela déteint naturellement sur mes appréciations. C’est précisément pour cela que cette grille est ouverte — vous pouvez refaire le calcul et arriver à un autre résultat que moi. Dans les comparatifs qui suivent, je nomme en outre explicitement, dans chaque article, les cas où un autre outil est le meilleur choix.
Critère 1 : charge de travail réelle plutôt que prompt de démonstration
Tout outil a fière allure en démonstration. La question est de savoir ce qui se passe quand vous lui donnez votre travail réel : l’offre de 40 pages, le tableur Excel qui a poussé au fil des ans, l’échange de courriels sur sept mois avec trois interlocuteurs.
Comment je teste cela : je prends trois à cinq tâches qui reviennent chaque semaine dans l’entreprise et je les fais traiter par chaque candidat — avec de vrais documents, pas avec des données d’exemple. Ce qui est évalué, ce n’est pas quel résultat sonne le mieux, mais combien de retouches sont nécessaires avant qu’il soit utilisable. Un outil brillant dans 80 pour cent des cas et qui livre dans 20 pour cent des absurdités inutilisables qu’il faut d’abord repérer est, au quotidien, moins bon qu’un outil régulièrement solide.
Critère 2 : accès au contexte
Un modèle de langage sans accès à vos informations est un stagiaire très cultivé au premier jour de travail. Il connaît le monde, mais pas votre entreprise. Le vrai saut en utilité se produit là où l’outil atteint vos données : les fichiers, la messagerie, l’archivage, l’application métier.
Les questions décisives : puis-je déposer durablement des fichiers et des dossiers, ou dois-je les téléverser à nouveau dans chaque conversation ? Existe-t-il des connecteurs vers les systèmes que nous utilisons de toute façon ? Et peut-on construire soi-même une liaison s’il n’existe rien de prêt à l’emploi pour notre système métier — par exemple via le Model Context Protocol ?
Critère 3 : protection des données et cadre contractuel
C’est ici que se trouve l’erreur la plus coûteuse que je rencontre en rendez-vous de conseil — et elle ne concerne pas le choix du fournisseur, mais le choix de la formule.
Chez les grands fournisseurs, le même schéma s’applique : dans les formules grand public, les contenus servent par défaut à l’entraînement des modèles, une désinscription est possible. Dans les formules professionnelles, aucun entraînement sur vos contenus n’a lieu par défaut. En clair : le collaborateur qui, avec son accès gratuit personnel, fait rapidement résumer un contrat client, voilà le problème de protection des données — et non le choix du fournisseur au niveau de la direction.
Ce que je vérifie concrètement : entraîne-t-on sur nos données, et à partir de quelle formule non ? Existe-t-il un contrat de sous-traitance, et qui est le cocontractant ? Où sont hébergées les données ? Combien de temps sont-elles conservées, et cela se configure-t-il ? Quels sous-traitants ultérieurs interviennent ?
Il s’agit d’une appréciation de terrain issue du conseil, pas d’un conseil juridique. Pour l’évaluation contraignante de votre cas précis, vous avez besoin de votre délégué à la protection des données ou d’un cabinet.
Critère 4 : capacité de déploiement dans l’équipe
Un outil que seules les deux collègues à l’aise avec la technique savent utiliser ne change rien au résultat d’exploitation. La question n’est pas de savoir à quel point le logiciel est bon dans le meilleur des cas, mais combien de personnes l’utiliseront réellement au quotidien.
Cela passe par des choses peu spectaculaires : existe-t-il une gestion centralisée des utilisateurs ? Le tout peut-il être rattaché à l’authentification existante ? Puis-je voir, en tant qu’administrateur, qui l’utilise — et qui ne l’utilise pas ? Et combien de formation faut-il, de façon réaliste, pour que quelqu’un sans connaissances préalables devienne productif ? Mon expérience : deux à trois heures accompagnées par personne apportent plus que n’importe quelle liste de fonctionnalités. La façon dont un tel déploiement se déroule de manière structurée, je l’ai décrite dans le plan en six semaines (en allemand).
Critère 5 : coût total sur douze mois
Les frais de licence sont le poste dont tout le monde parle, et le plus petit des trois. Calculez plutôt ainsi :
- Licence : prix par siège × nombre de personnes × douze mois. Faites attention aux quantités minimales et à la question de savoir si une licence de base est exigée — chez certains fournisseurs, le prix annoncé n’est que le supplément.
- Déploiement : sélection, installation, politique interne, raccordement à vos systèmes. Ponctuel, mais rarement modeste.
- Formation et accompagnement : non pas la démonstration unique, mais le suivi durant les premiers mois, ceux où les questions apparaissent.
Pour dix personnes, les coûts de licence se situent, selon le fournisseur, dans une fourchette basse à quatre chiffres par an. Déploiement et formation se situent, d’expérience, au-dessus. Qui ne compare que la licence optimise le plus petit levier.
Critère 6 : coûts de sortie
Le critère qui n’apparaît presque jamais dans les processus de sélection — et qui devient plus cher chaque mois. La question est : que coûte un changement dans deux ans ?
Concrètement : puis-je récupérer mes historiques de conversation, mes documents déposés et mes modèles créés moi-même, et dans quel format ? Combien de travail est investi dans la configuration et les liaisons, et perdu lors d’un changement ? Et à quel point l’outil s’est-il incrusté dans des processus de travail qu’il faudrait alors réécrire ?
Ma règle empirique : tout ce que vous formulez vous-même — règles internes, modèles, savoir d’entreprise mis en forme — devrait exister dans un format que vous pouvez encore lire sans le fournisseur. De simples fichiers texte dans votre propre archivage ne sont pas un retour en arrière, mais une assurance.
Critère 7 : rythme du développement produit
Un critère à double tranchant. Un rythme élevé signifie que votre outil en saura nettement plus dans un an qu’aujourd’hui — sans que vous ayez à faire quoi que ce soit. Mais cela signifie aussi que vos supports de formation vieillissent, que les interfaces se déplacent et qu’une fonction autour de laquelle vous avez construit un processus peut disparaître.
Ce que j’évalue ici, c’est moins la vitesse que la fiabilité : le fournisseur annonce-t-il les changements ? Y a-t-il des délais de transition ? Les interfaces restent-elles stables, même quand l’affichage change ? Pour une entreprise qui appuie ses processus sur un outil, la prévisibilité vaut plus que la prochaine fonctionnalité.
Comment appliquer la grille
Les sept critères ne pèsent pas tous autant — cela dépend de votre situation. Un cabinet d’expertise comptable pondère fortement la protection des données et les coûts de sortie. Une agence de publicité pondère fortement la charge de travail réelle et l’accès au contexte, et peut se montrer plus pragmatique sur la protection des données tant qu’aucune donnée de client final n’est en jeu.
Ma proposition : attribuez les pondérations avant la comparaison — quels sont les trois critères les plus importants pour vous ? Ce n’est qu’ensuite que vous regardez les outils. Dans l’autre sens, il arrive régulièrement qu’un détail impressionnant déplace la pondération après coup.
Questions fréquentes
Les benchmarks sont-ils totalement inutiles ?
Non. Ils montrent de façon fiable si un modèle décroche nettement dans une catégorie. Mais pour choisir entre les trois ou quatre fournisseurs de tête, ils ne servent presque à rien, car les écarts y sont faibles et les conditions de test très éloignées de votre quotidien de travail.
Combien de temps prend une évaluation selon cette grille ?
Pour deux candidats, comptez de façon réaliste deux à trois semaines : une semaine pour les tâches de test, une pour l’examen de la protection des données et des contrats, plus le temps dont vos services métiers ont besoin pour leurs retours. Qui décide cela en une après-midi décide à l’instinct — ce qui suffit parfois, mais alors en toute conscience.
Ne pouvons-nous pas simplement utiliser plusieurs outils en parallèle ?
Vous le pouvez — cela coûte seulement plus cher que la plupart ne l’imaginent. Pas en frais de licence, mais en coordination, en formation et en travail de protection des données pour chaque outil supplémentaire. Ma recommandation est un outil standard plus un second outil sciemment autorisé.
La grille vaut-elle aussi pour les petites structures ?
Oui, avec moins d’efforts. À trois personnes, vous examinez les mêmes sept points, mais en quelques heures au lieu de quelques semaines. Les critères ne changent pas, seule la profondeur de l’examen change.
Quel outil recommandez-vous donc ?
Cela dépend de votre pondération — c’est à cela que sert cette grille. Dans les articles suivants de cette série, je passe les candidats habituels en revue un par un, à chaque fois avec les cas où ils l’emportent et ceux où ils perdent.