La mayoría de las comparativas de IA miden lo que no toca. Ponen puntuaciones de benchmark una al lado de otra, comparan ventanas de contexto y coronan a un ganador — y con ello no responden a una sola pregunta de las que realmente surgen en una empresa. En este artículo dejo a la vista el esquema con el que evalúo herramientas de IA para mis clientes. Siete criterios, ninguno de ellos un benchmark. Todas las comparativas siguientes de este blog usan exactamente este esquema.
Lo esencial en breve
- Los benchmarks dicen poco sobre la utilidad en la empresa: miden condiciones de laboratorio, no su día a día de trabajo.
- Siete criterios deciden en la práctica: carga de trabajo real, conexión al contexto, protección de datos, facilidad de implantación, coste total, coste de salida y ritmo de desarrollo.
- La licencia es la menor partida de coste — y aun así el ancla de decisión más frecuente.
- Casi nadie examina los costes de salida, aunque a lo largo de los años salen más caros que el precio de entrada.
- El esquema no sustituye a la decisión. Solo hace que usted plantee las preguntas correctas antes de tomarla.
Por qué uso un esquema propio
Cuando aparece un modelo nuevo, las tablas comparativas están en la red en pocas horas. Muestran puntuaciones en pruebas estandarizadas: matemáticas, programación, comprensión de textos. Eso no carece de valor — pero responde a una pregunta que usted no ha hecho. Usted no quiere saber qué modelo resuelve mejor una colección de ejercicios. Quiere saber si su contabilidad terminará antes con él y si el despacho de abogados de al lado no se encontrará de pronto sus borradores de contrato en un conjunto de datos de entrenamiento ajeno.
A eso se añade que la distancia entre los modelos punteros se ha reducido notablemente en los dos últimos años. Para la inmensa mayoría de las tareas de una pyme — correos, resúmenes, análisis, borradores — todos los grandes proveedores entregan resultados utilizables. La diferencia que sostiene o hace fracasar su proyecto está en otra parte.
Una divulgación por delante: me gano la vida con consultoría y formación en torno a Claude. Eso tiñe, como es natural, mis valoraciones. Precisamente por eso este esquema está a la vista: con él puede rehacer las cuentas y llegar a un resultado distinto del mío. Además, en las comparativas siguientes menciono expresamente en cada artículo los casos en los que otra herramienta es la mejor opción.
Criterio 1: carga de trabajo real en lugar de prompt de demostración
Toda herramienta luce bien en la demostración. La cuestión es qué ocurre cuando la alimenta con su trabajo real: la oferta de 40 páginas, la hoja de Excel que ha ido creciendo, el hilo de correo de siete meses con tres interlocutores.
Así lo pruebo: tomo entre tres y cinco tareas que surgen semanalmente en la empresa y hago que las resuelva cada candidato — con documentos reales, no con datos de ejemplo. No se valora qué resultado suena mejor, sino cuánto retoque hace falta hasta que sea utilizable. Una herramienta que en el 80 por ciento de los casos es brillante y en el 20 por ciento entrega disparates inservibles que además hay que ir a buscar es peor en el día a día que otra que se mantiene sólida de forma constante.
Criterio 2: conexión al contexto
Un modelo de lenguaje sin acceso a su información es un becario muy leído en su primer día de trabajo. Conoce el mundo, pero no su empresa. El verdadero salto de utilidad se produce allí donde la herramienta llega a sus datos: a los archivos, al buzón de correo, al repositorio, a la aplicación especializada.
Las preguntas decisivas: ¿puedo dejar archivos y carpetas guardados de forma permanente, o tengo que subirlos de nuevo en cada conversación? ¿Hay conectores con los sistemas que ya usamos? ¿Y se puede construir una conexión propia si para nuestro sistema especializado no existe nada hecho — por ejemplo a través del Model Context Protocol?
Criterio 3: protección de datos y situación contractual
Aquí está el error más caro con el que me encuentro en las sesiones de asesoramiento — y no tiene que ver con la elección del proveedor, sino con la elección del plan.
En los grandes proveedores rige el mismo patrón: en los planes particulares los contenidos se utilizan por defecto para entrenar los modelos, y es posible optar por excluirse. En los planes de empresa no se entrena por defecto con sus contenidos. Dicho claramente: el problema de protección de datos es el empleado que, con su acceso gratuito privado, hace resumir sin más un contrato de cliente — no la elección de proveedor a nivel de dirección.
Lo que compruebo en concreto: ¿se entrena con nuestros datos y a partir de qué plan deja de hacerse? ¿Existe un contrato de encargo de tratamiento y quién es la parte contratante? ¿Dónde están los datos? ¿Cuánto tiempo se conservan y se puede configurar? ¿Qué subencargados intervienen?
Esto es una valoración práctica desde la consultoría, no asesoramiento jurídico. Para la evaluación vinculante de su caso concreto necesita a su delegado de protección de datos o a un despacho de abogados.
Criterio 4: facilidad de implantación en el equipo
Una herramienta que solo saben manejar las dos compañeras con afinidad técnica no cambia nada en el resultado de la empresa. La pregunta no es lo buena que es el software en el mejor de los casos, sino cuántas personas la usarán realmente en el día a día.
De eso forma parte lo poco espectacular: ¿hay una gestión central de usuarios? ¿Se puede acoplar el conjunto al inicio de sesión existente? ¿Puedo ver como administrador quién la usa — y quién no? ¿Y cuánta formación hace falta de forma realista hasta que alguien sin conocimientos previos sea productivo con ella? Mi experiencia: dos o tres horas acompañadas por persona rinden más que cualquier lista de funciones. Cómo transcurre de forma estructurada una implantación así lo he descrito en el plan de seis semanas.
Criterio 5: coste total a doce meses
La cuota de licencia es la partida de la que todos hablan y la menor de las tres. Calcule mejor así:
- Licencia: precio por puesto × número de personas × doce meses. Fíjese en los mínimos de contratación y en si se presupone una licencia básica — en algunos proveedores el precio anunciado es solo el recargo.
- Implantación: selección, configuración, política interna, conexión con sus sistemas. Es un gasto único, pero rara vez pequeño.
- Formación y acompañamiento: no la demostración única, sino el acompañamiento durante los primeros meses, que es cuando surgen las preguntas.
Con diez personas, los costes de licencia se sitúan, según el proveedor, en la franja baja de cuatro cifras al año. La implantación y la formación suelen quedar por encima. Quien solo compara la licencia optimiza la palanca más pequeña.
Criterio 6: costes de salida
El criterio que casi nunca aparece en los procesos de selección — y que se encarece cada mes que pasa. La pregunta es: ¿cuánto cuesta cambiar dentro de dos años?
En concreto: ¿puedo recuperar mis historiales de conversación, los documentos guardados y las plantillas construidas por mí, y en qué formato? ¿Cuánto trabajo hay en la configuración y las conexiones que se perdería al cambiar? ¿Y hasta qué punto se ha incrustado la herramienta en procesos de trabajo que después habría que reescribir?
Mi regla práctica: todo lo que usted mismo formule — políticas, plantillas, conocimiento de empresa ya preparado — debería estar en un formato que también pueda leer sin el proveedor. Archivos de texto simples en su propio repositorio no son un retroceso, sino un seguro.
Criterio 7: ritmo de desarrollo del producto
Un criterio de doble filo. Un ritmo alto significa que dentro de un año su herramienta hará bastante más que hoy — sin que usted tenga que hacer nada. Pero también significa que sus materiales de formación quedarán obsoletos, que las interfaces se moverán y que una función alrededor de la cual usted construyó un proceso puede volver a desaparecer.
Lo que valoro aquí es menos la velocidad que la fiabilidad: ¿anuncia el proveedor los cambios? ¿Hay plazos de transición? ¿Se mantienen estables las interfaces de programación aunque cambie la interfaz de usuario? Para una empresa que apoya sus procesos en una herramienta, la previsibilidad vale más que la siguiente función.
Cómo aplicar el esquema
No todos los siete criterios pesan igual — depende de su situación. Una asesoría fiscal pondera alto la protección de datos y los costes de salida. Una agencia de publicidad pondera alto la carga de trabajo real y la conexión al contexto, y puede ser más pragmática en protección de datos mientras no haya datos de clientes en juego.
Mi propuesta: reparta los pesos antes de comparar — ¿cuáles son para usted los tres criterios más importantes? Solo después mire las herramientas. Al revés ocurre con regularidad que un detalle impresionante desplaza la ponderación a posteriori.
Preguntas frecuentes
¿Los benchmarks carecen por completo de valor?
No. Muestran de forma fiable si un modelo se queda claramente atrás en una categoría. Pero apenas sirven para elegir entre los tres o cuatro proveedores punteros, porque ahí las diferencias son pequeñas y las condiciones de prueba están muy lejos de su día a día de trabajo.
¿Cuánto dura una evaluación con este esquema?
Para dos candidatos, de forma realista, de dos a tres semanas: una semana para las tareas de prueba, otra para la revisión de protección de datos y contratos, más el tiempo que necesiten sus departamentos para responder. Quien lo decide en una tarde decide por intuición — lo que a veces basta, pero entonces que sea de forma consciente.
¿No podemos usar simplemente varias herramientas en paralelo?
Puede hacerlo — solo que cuesta más de lo que la mayoría espera. No en cuotas de licencia, sino en coordinación, formación y esfuerzo de protección de datos por cada herramienta adicional. Mi recomendación es una herramienta estándar más una segunda herramienta admitida de forma consciente.
¿Vale el esquema también para empresas pequeñas?
Sí, solo que con menos esfuerzo. Con tres personas revisa los mismos siete puntos, pero en unas pocas horas en lugar de en semanas. Los criterios no cambian, solo la profundidad de la revisión.
Entonces, ¿qué herramienta recomienda?
Depende de su ponderación — para eso existe este esquema. En los siguientes artículos de esta serie repaso uno a uno los candidatos habituales, cada vez con los casos en los que ganan y aquellos en los que pierden.