La plupart des comparatifs d’IA mesurent la mauvaise chose. On aligne des scores de benchmarks, on compare des fen\u00eatres de contexte, on d\u00e9signe un vainqueur \u2014 et on ne r\u00e9pond \u00e0 aucune des questions qui se posent r\u00e9ellement dans une entreprise. Dans cet article, je mets \u00e0 plat la grille avec laquelle j’\u00e9value les outils d’IA pour mes clientes et mes clients. Sept crit\u00e8res, dont aucun n’est un benchmark. Tous les comparatifs qui suivront sur ce blog utilisent exactement cette grille.<\/p>\n\n\n\n
Quand un nouveau mod\u00e8le sort, les tableaux comparatifs circulent en quelques heures. Ils affichent des scores dans des tests standardis\u00e9s : math\u00e9matiques, programmation, compr\u00e9hension de texte. Ce n’est pas sans valeur \u2014 mais cela r\u00e9pond \u00e0 une question que vous n’avez pas pos\u00e9e. Vous ne voulez pas savoir quel mod\u00e8le r\u00e9sout le mieux une collection d’exercices. Vous voulez savoir si votre comptabilit\u00e9 en finit plus vite et si le cabinet d’avocats d’\u00e0 c\u00f4t\u00e9 ne retrouvera pas soudain vos projets de contrat dans un jeu de donn\u00e9es d’entra\u00eenement \u00e9tranger.<\/p>\n\n\n\n
\u00c0 cela s’ajoute que l’\u00e9cart entre les mod\u00e8les de t\u00eate s’est nettement r\u00e9duit ces deux derni\u00e8res ann\u00e9es. Pour la tr\u00e8s grande majorit\u00e9 des t\u00e2ches en PME \u2014 courriels, r\u00e9sum\u00e9s, analyses, brouillons \u2014 tous les grands fournisseurs livrent des r\u00e9sultats utilisables. La diff\u00e9rence qui fait tenir ou \u00e9chouer votre projet se situe ailleurs.<\/p>\n\n\n\n
Une mise au point pr\u00e9alable :<\/strong> je gagne ma vie avec du conseil et de la formation autour de Claude. Cela d\u00e9teint naturellement sur mes appr\u00e9ciations. C’est pr\u00e9cis\u00e9ment pour cela que cette grille est ouverte \u2014 vous pouvez refaire le calcul et arriver \u00e0 un autre r\u00e9sultat que moi. Dans les comparatifs qui suivent, je nomme en outre explicitement, dans chaque article, les cas o\u00f9 un autre outil est le meilleur choix.<\/p>\n\n\n\n Tout outil a fi\u00e8re allure en d\u00e9monstration. La question est de savoir ce qui se passe quand vous lui donnez votre travail r\u00e9el : l’offre de 40 pages, le tableur Excel qui a pouss\u00e9 au fil des ans, l’\u00e9change de courriels sur sept mois avec trois interlocuteurs.<\/p>\n\n\n\n Comment je teste cela :<\/strong> je prends trois \u00e0 cinq t\u00e2ches qui reviennent chaque semaine dans l’entreprise et je les fais traiter par chaque candidat \u2014 avec de vrais documents, pas avec des donn\u00e9es d’exemple. Ce qui est \u00e9valu\u00e9, ce n’est pas quel r\u00e9sultat sonne le mieux, mais combien de retouches sont n\u00e9cessaires avant qu’il soit utilisable. Un outil brillant dans 80 pour cent des cas et qui livre dans 20 pour cent des absurdit\u00e9s inutilisables qu’il faut d’abord rep\u00e9rer est, au quotidien, moins bon qu’un outil r\u00e9guli\u00e8rement solide.<\/p>\n\n\n\n Un mod\u00e8le de langage sans acc\u00e8s \u00e0 vos informations est un stagiaire tr\u00e8s cultiv\u00e9 au premier jour de travail. Il conna\u00eet le monde, mais pas votre entreprise. Le vrai saut en utilit\u00e9 se produit l\u00e0 o\u00f9 l’outil atteint vos donn\u00e9es : les fichiers, la messagerie, l’archivage, l’application m\u00e9tier.<\/p>\n\n\n\n Les questions d\u00e9cisives : puis-je d\u00e9poser durablement des fichiers et des dossiers, ou dois-je les t\u00e9l\u00e9verser \u00e0 nouveau dans chaque conversation ? Existe-t-il des connecteurs vers les syst\u00e8mes que nous utilisons de toute fa\u00e7on ? Et peut-on construire soi-m\u00eame une liaison s’il n’existe rien de pr\u00eat \u00e0 l’emploi pour notre syst\u00e8me m\u00e9tier \u2014 par exemple via le Model Context Protocol<\/a> ?<\/p>\n\n\n\n C’est ici que se trouve l’erreur la plus co\u00fbteuse que je rencontre en rendez-vous de conseil \u2014 et elle ne concerne pas le choix du fournisseur, mais le choix de la formule.<\/p>\n\n\n\n Chez les grands fournisseurs, le m\u00eame sch\u00e9ma s’applique : dans les formules grand public<\/strong>, les contenus servent par d\u00e9faut \u00e0 l’entra\u00eenement des mod\u00e8les, une d\u00e9sinscription est possible. Dans les formules professionnelles<\/strong>, aucun entra\u00eenement sur vos contenus n’a lieu par d\u00e9faut. En clair : le collaborateur qui, avec son acc\u00e8s gratuit personnel, fait rapidement r\u00e9sumer un contrat client, voil\u00e0 le probl\u00e8me de protection des donn\u00e9es \u2014 et non le choix du fournisseur au niveau de la direction.<\/p>\n\n\n\n Ce que je v\u00e9rifie concr\u00e8tement : entra\u00eene-t-on sur nos donn\u00e9es, et \u00e0 partir de quelle formule non ? Existe-t-il un contrat de sous-traitance, et qui est le cocontractant ? O\u00f9 sont h\u00e9berg\u00e9es les donn\u00e9es ? Combien de temps sont-elles conserv\u00e9es, et cela se configure-t-il ? Quels sous-traitants ult\u00e9rieurs interviennent ?<\/p>\n\n\n\n Il s’agit d’une appr\u00e9ciation de terrain issue du conseil, pas d’un conseil juridique. Pour l’\u00e9valuation contraignante de votre cas pr\u00e9cis, vous avez besoin de votre d\u00e9l\u00e9gu\u00e9 \u00e0 la protection des donn\u00e9es ou d’un cabinet.<\/p>\n\n\n\n Un outil que seules les deux coll\u00e8gues \u00e0 l’aise avec la technique savent utiliser ne change rien au r\u00e9sultat d’exploitation. La question n’est pas de savoir \u00e0 quel point le logiciel est bon dans le meilleur des cas, mais combien de personnes l’utiliseront r\u00e9ellement au quotidien.<\/p>\n\n\n\nCrit\u00e8re 1 : charge de travail r\u00e9elle plut\u00f4t que prompt de d\u00e9monstration<\/h2>\n\n\n\n
Crit\u00e8re 2 : acc\u00e8s au contexte<\/h2>\n\n\n\n
Crit\u00e8re 3 : protection des donn\u00e9es et cadre contractuel<\/h2>\n\n\n\n
Crit\u00e8re 4 : capacit\u00e9 de d\u00e9ploiement dans l’\u00e9quipe<\/h2>\n\n\n\n