La maggior parte dei confronti sull’IA misura la cosa sbagliata. Mette in fila punteggi di benchmark, confronta finestre di contesto e incorona un vincitore — e non risponde così a una sola domanda di quelle che si pongono davvero in un’azienda reale. In questo articolo rendo trasparente la griglia con cui valuto gli strumenti di IA per i miei clienti. Sette criteri, nessuno dei quali è un benchmark. Tutti i confronti che seguono in questo blog usano esattamente questa griglia.
I punti essenziali
- I benchmark dicono poco sull’utilità in azienda — misurano condizioni di laboratorio, non la Sua giornata di lavoro.
- Sette criteri decidono nella pratica: carico di lavoro reale, collegamento al contesto, protezione dei dati, introducibilità, costi complessivi, costi di uscita, ritmo di sviluppo.
- La licenza è la voce di costo più piccola — e nonostante ciò l’ancoraggio decisionale più frequente.
- Quasi nessuno verifica i costi di uscita, benché negli anni diventino più cari del prezzo d’ingresso.
- La griglia non sostituisce una decisione. Fa solo in modo che Lei ponga le domande giuste prima di prenderne una.
Perché uso una griglia mia
Quando esce un modello nuovo, nel giro di poche ore le tabelle comparative sono in rete. Mostrano punteggi in test standardizzati: matematica, programmazione, comprensione del testo. Non è privo di valore — ma risponde a una domanda che Lei non ha affatto posto. Lei non vuole sapere quale modello risolve meglio una raccolta di esercizi. Vuole sapere se con quello strumento la Sua contabilità finisce prima e se lo studio legale accanto non ritroverà all’improvviso le Sue bozze di contratto in un set di dati di addestramento altrui.
A ciò si aggiunge: negli ultimi due anni la distanza tra i modelli di punta si è ridotta nettamente. Per la stragrande maggioranza dei compiti nelle PMI — e-mail, riassunti, analisi, bozze — tutti i grandi fornitori danno risultati utilizzabili. La differenza che regge il Suo progetto o lo fa fallire sta altrove.
Una dichiarazione preliminare: guadagno con la consulenza e la formazione su Claude. Questo naturalmente si riflette sulle mie valutazioni. Proprio per questo la griglia è trasparente — Lei può rifare i conti e arrivare a un risultato diverso dal mio. Nei confronti che seguono, inoltre, indico espressamente in ogni articolo i casi in cui un altro strumento è la scelta migliore.
Criterio 1: carico di lavoro reale invece del prompt da demo
Ogni strumento fa bella figura nella demo. La domanda è che cosa succede quando lo si alimenta con il Suo lavoro reale: l’offerta di 40 pagine, il foglio Excel cresciuto negli anni, lo scambio di e-mail durato sette mesi con tre interlocutori.
Come lo verifico: prendo da tre a cinque compiti che in azienda ricorrono ogni settimana e li faccio svolgere a ciascun candidato — con documenti reali, non con dati di esempio. Non valuto quale risultato suoni più bello, ma quanta rilavorazione serve prima che sia utilizzabile. Uno strumento che nell’80 per cento dei casi è brillante e nel 20 per cento produce sciocchezze inutilizzabili, che per giunta bisogna prima individuare, nella pratica quotidiana è peggiore di uno che resta solido in modo costante.
Criterio 2: collegamento al contesto
Un modello linguistico senza accesso alle Sue informazioni è uno stagista molto colto al primo giorno di lavoro. Conosce il mondo, ma non la Sua azienda. Il vero salto di utilità nasce dove lo strumento arriva ai Suoi dati: ai file, alla casella di posta, all’archivio, all’applicativo gestionale.
Le domande decisive: posso depositare file e cartelle in modo permanente, oppure devo ricaricarli a ogni conversazione? Esistono connettori verso i sistemi che usiamo comunque? E si può costruire un collegamento proprio, se per il nostro sistema gestionale non c’è nulla di pronto — per esempio tramite il Model Context Protocol?
Criterio 3: protezione dei dati e situazione contrattuale
Qui sta l’errore più costoso in cui mi imbatto nei colloqui di consulenza — e non riguarda la scelta del fornitore, bensì la scelta del piano tariffario.
Presso i grandi fornitori vale lo stesso schema: nei piani per privati i contenuti vengono usati per impostazione predefinita per l’addestramento dei modelli, ed è possibile un opt-out. Nei piani business per impostazione predefinita non avviene alcun addestramento sui Suoi contenuti. In parole chiare: il collaboratore che con il suo accesso privato gratuito fa riassumere al volo un contratto di un cliente è il problema di protezione dei dati — non la scelta del fornitore a livello di direzione aziendale.
Che cosa verifico in concreto: si addestra sui nostri dati, e a partire da quale piano non più? Esiste un contratto di responsabile del trattamento, e chi è la controparte contrattuale? Dove si trovano i dati? Per quanto tempo vengono conservati, e la cosa è configurabile? Quali subfornitori sono coinvolti?
Questa è una valutazione pratica che nasce dalla consulenza, non una consulenza legale. Per una valutazione vincolante del Suo caso concreto Le servono il Suo responsabile della protezione dei dati o uno studio legale.
Criterio 4: introducibilità nel team
Uno strumento che sanno usare solo le due colleghe con affinità tecnica non cambia nulla nel risultato aziendale. La domanda non è quanto sia buono il software nel caso migliore, ma quante persone lo useranno davvero nella pratica quotidiana.
Ne fanno parte cose poco spettacolari: esiste una gestione centrale degli utenti? Si può agganciare il tutto al sistema di accesso esistente? Come amministratore posso vedere chi lo usa — e chi no? E quanta formazione serve realisticamente perché una persona senza conoscenze pregresse diventi produttiva? La mia esperienza: due o tre ore accompagnate per persona danno più di qualsiasi elenco di funzioni. Come si svolge in modo strutturato una simile introduzione l’ho descritto nel piano in sei settimane.
Criterio 5: costi complessivi su dodici mesi
Il canone di licenza è la voce di cui parlano tutti, ed è la più piccola delle tre. Faccia invece questo conto:
- Licenza: prezzo per postazione × numero di persone × dodici mesi. Faccia attenzione ai quantitativi minimi e al fatto che venga presupposta una licenza di base — presso alcuni fornitori il prezzo pubblicizzato è solo il sovrapprezzo.
- Introduzione: selezione, configurazione, regolamento interno, collegamento ai Suoi sistemi. Una tantum, ma raramente contenuta.
- Formazione e accompagnamento: non la dimostrazione una tantum, ma l’assistenza nei primi mesi, quando le domande cominciano davvero ad arrivare.
Con dieci persone i costi di licenza si collocano, a seconda del fornitore, nella fascia bassa delle quattro cifre all’anno. Introduzione e formazione, per esperienza, stanno al di sopra. Chi confronta solo la licenza ottimizza la leva più piccola.
Criterio 6: costi di uscita
Il criterio che nei processi di selezione non compare quasi mai — e che diventa più caro ogni mese che passa. La domanda è: quanto costa cambiare tra due anni?
In concreto: riesco a riavere le mie cronologie di conversazione, i documenti depositati e i modelli costruiti da me, e in quale formato? Quanto lavoro è racchiuso nella configurazione e nei collegamenti, e va perso al momento del cambio? E quanto profondamente lo strumento si è insinuato in processi di lavoro che poi vanno riscritti?
La mia regola empirica: tutto ciò che Lei formula in prima persona — regolamenti, modelli, sapere aziendale rielaborato — dovrebbe stare in un formato che Lei possa leggere anche senza il fornitore. Semplici file di testo nel Suo archivio non sono un passo indietro, ma un’assicurazione.
Criterio 7: ritmo dello sviluppo del prodotto
Un criterio a doppio taglio. Un ritmo elevato significa che tra un anno il Suo strumento saprà fare molto più di oggi — senza che Lei debba fare nulla. Ma significa anche che il Suo materiale di formazione invecchia, che le interfacce si spostano e che una funzione attorno alla quale Lei ha costruito un processo può anche sparire.
Quello che qui valuto è meno la velocità e più l’affidabilità: il fornitore annuncia le modifiche? Ci sono periodi di transizione? Le interfacce restano stabili anche quando cambia la superficie d’uso? Per un’azienda che appoggia i propri processi su uno strumento, la prevedibilità vale più della funzione successiva.
Come applicare la griglia
Non tutti e sette i criteri pesano allo stesso modo — dipende dalla Sua situazione. Uno studio di consulenza fiscale dà un peso alto alla protezione dei dati e ai costi di uscita. Un’agenzia pubblicitaria dà un peso alto al carico di lavoro reale e al collegamento al contesto e può essere più pragmatica sulla protezione dei dati, finché non sono in gioco dati di clienti dello studio.
La mia proposta: assegni i pesi prima del confronto — quali tre criteri sono per Lei i più importanti? Solo dopo guardi gli strumenti. Al contrario capita regolarmente che un dettaglio impressionante sposti a posteriori la ponderazione.
Domande frequenti
I benchmark sono del tutto privi di valore?
No. Mostrano in modo affidabile se un modello scende nettamente sotto la media in una categoria. Per scegliere tra i tre o quattro fornitori di punta però servono a poco, perché lì le differenze sono piccole e le condizioni di test sono lontane dalla Sua giornata di lavoro.
Quanto dura una valutazione secondo questa griglia?
Per due candidati, realisticamente due o tre settimane: una settimana per i compiti di prova, una per la verifica su protezione dei dati e contratti, più il tempo che i Suoi reparti specialistici impiegano per i riscontri. Chi decide in un pomeriggio decide di pancia — cosa che a volte basta, ma allora lo faccia consapevolmente.
Non possiamo semplicemente usare più strumenti in parallelo?
Può farlo — costa solo più di quanto la maggior parte si aspetti. Non in canoni di licenza, ma in coordinamento, formazione e onere di protezione dei dati per ogni strumento aggiuntivo. La mia raccomandazione è uno strumento standard più un secondo strumento consapevolmente ammesso.
La griglia vale anche per le piccole aziende?
Sì, solo con meno sforzo. Con tre persone Lei verifica gli stessi sette punti, ma in poche ore invece che in settimane. I criteri non cambiano, cambia solo la profondità della verifica.
E allora quale strumento consiglia?
Dipende dalla Sua ponderazione — è per questo che esiste questa griglia. Negli articoli successivi di questa serie analizzo uno per uno i candidati più diffusi, ogni volta con i casi in cui vincono e quelli in cui perdono.