La maggior parte dei confronti sull’IA misura la cosa sbagliata. Mette in fila punteggi di benchmark, confronta finestre di contesto e incorona un vincitore \u2014 e non risponde cos\u00ec a una sola domanda di quelle che si pongono davvero in un’azienda reale. In questo articolo rendo trasparente la griglia con cui valuto gli strumenti di IA per i miei clienti. Sette criteri, nessuno dei quali \u00e8 un benchmark. Tutti i confronti che seguono in questo blog usano esattamente questa griglia.<\/p>\n\n\n\n
Quando esce un modello nuovo, nel giro di poche ore le tabelle comparative sono in rete. Mostrano punteggi in test standardizzati: matematica, programmazione, comprensione del testo. Non \u00e8 privo di valore \u2014 ma risponde a una domanda che Lei non ha affatto posto. Lei non vuole sapere quale modello risolve meglio una raccolta di esercizi. Vuole sapere se con quello strumento la Sua contabilit\u00e0 finisce prima e se lo studio legale accanto non ritrover\u00e0 all’improvviso le Sue bozze di contratto in un set di dati di addestramento altrui.<\/p>\n\n\n\n
A ci\u00f2 si aggiunge: negli ultimi due anni la distanza tra i modelli di punta si \u00e8 ridotta nettamente. Per la stragrande maggioranza dei compiti nelle PMI \u2014 e-mail, riassunti, analisi, bozze \u2014 tutti i grandi fornitori danno risultati utilizzabili. La differenza che regge il Suo progetto o lo fa fallire sta altrove.<\/p>\n\n\n\n
Una dichiarazione preliminare:<\/strong> guadagno con la consulenza e la formazione su Claude. Questo naturalmente si riflette sulle mie valutazioni. Proprio per questo la griglia \u00e8 trasparente \u2014 Lei pu\u00f2 rifare i conti e arrivare a un risultato diverso dal mio. Nei confronti che seguono, inoltre, indico espressamente in ogni articolo i casi in cui un altro strumento \u00e8 la scelta migliore.<\/p>\n\n\n\n Ogni strumento fa bella figura nella demo. La domanda \u00e8 che cosa succede quando lo si alimenta con il Suo lavoro reale: l’offerta di 40 pagine, il foglio Excel cresciuto negli anni, lo scambio di e-mail durato sette mesi con tre interlocutori.<\/p>\n\n\n\n Come lo verifico:<\/strong> prendo da tre a cinque compiti che in azienda ricorrono ogni settimana e li faccio svolgere a ciascun candidato \u2014 con documenti reali, non con dati di esempio. Non valuto quale risultato suoni pi\u00f9 bello, ma quanta rilavorazione serve prima che sia utilizzabile. Uno strumento che nell’80 per cento dei casi \u00e8 brillante e nel 20 per cento produce sciocchezze inutilizzabili, che per giunta bisogna prima individuare, nella pratica quotidiana \u00e8 peggiore di uno che resta solido in modo costante.<\/p>\n\n\n\n Un modello linguistico senza accesso alle Sue informazioni \u00e8 uno stagista molto colto al primo giorno di lavoro. Conosce il mondo, ma non la Sua azienda. Il vero salto di utilit\u00e0 nasce dove lo strumento arriva ai Suoi dati: ai file, alla casella di posta, all’archivio, all’applicativo gestionale.<\/p>\n\n\n\n Le domande decisive: posso depositare file e cartelle in modo permanente, oppure devo ricaricarli a ogni conversazione? Esistono connettori verso i sistemi che usiamo comunque? E si pu\u00f2 costruire un collegamento proprio, se per il nostro sistema gestionale non c’\u00e8 nulla di pronto \u2014 per esempio tramite il Model Context Protocol<\/a>?<\/p>\n\n\n\n Qui sta l’errore pi\u00f9 costoso in cui mi imbatto nei colloqui di consulenza \u2014 e non riguarda la scelta del fornitore, bens\u00ec la scelta del piano tariffario.<\/p>\n\n\n\n Presso i grandi fornitori vale lo stesso schema: nei piani per privati<\/strong> i contenuti vengono usati per impostazione predefinita per l’addestramento dei modelli, ed \u00e8 possibile un opt-out. Nei piani business<\/strong> per impostazione predefinita non avviene alcun addestramento sui Suoi contenuti. In parole chiare: il collaboratore che con il suo accesso privato gratuito fa riassumere al volo un contratto di un cliente \u00e8 il problema di protezione dei dati \u2014 non la scelta del fornitore a livello di direzione aziendale.<\/p>\n\n\n\n Che cosa verifico in concreto: si addestra sui nostri dati, e a partire da quale piano non pi\u00f9? Esiste un contratto di responsabile del trattamento, e chi \u00e8 la controparte contrattuale? Dove si trovano i dati? Per quanto tempo vengono conservati, e la cosa \u00e8 configurabile? Quali subfornitori sono coinvolti?<\/p>\n\n\n\n Questa \u00e8 una valutazione pratica che nasce dalla consulenza, non una consulenza legale. Per una valutazione vincolante del Suo caso concreto Le servono il Suo responsabile della protezione dei dati o uno studio legale.<\/p>\n\n\n\n Uno strumento che sanno usare solo le due colleghe con affinit\u00e0 tecnica non cambia nulla nel risultato aziendale. La domanda non \u00e8 quanto sia buono il software nel caso migliore, ma quante persone lo useranno davvero nella pratica quotidiana.<\/p>\n\n\n\nCriterio 1: carico di lavoro reale invece del prompt da demo<\/h2>\n\n\n\n
Criterio 2: collegamento al contesto<\/h2>\n\n\n\n
Criterio 3: protezione dei dati e situazione contrattuale<\/h2>\n\n\n\n
Criterio 4: introducibilit\u00e0 nel team<\/h2>\n\n\n\n