La mayor\u00eda de las comparativas de IA miden lo que no toca. Ponen puntuaciones de benchmark una al lado de otra, comparan ventanas de contexto y coronan a un ganador \u2014 y con ello no responden a una sola pregunta de las que realmente surgen en una empresa. En este art\u00edculo dejo a la vista el esquema con el que eval\u00fao herramientas de IA para mis clientes. Siete criterios, ninguno de ellos un benchmark. Todas las comparativas siguientes de este blog usan exactamente este esquema.<\/p>\n\n\n\n
Cuando aparece un modelo nuevo, las tablas comparativas est\u00e1n en la red en pocas horas. Muestran puntuaciones en pruebas estandarizadas: matem\u00e1ticas, programaci\u00f3n, comprensi\u00f3n de textos. Eso no carece de valor \u2014 pero responde a una pregunta que usted no ha hecho. Usted no quiere saber qu\u00e9 modelo resuelve mejor una colecci\u00f3n de ejercicios. Quiere saber si su contabilidad terminar\u00e1 antes con \u00e9l y si el despacho de abogados de al lado no se encontrar\u00e1 de pronto sus borradores de contrato en un conjunto de datos de entrenamiento ajeno.<\/p>\n\n\n\n
A eso se a\u00f1ade que la distancia entre los modelos punteros se ha reducido notablemente en los dos \u00faltimos a\u00f1os. Para la inmensa mayor\u00eda de las tareas de una pyme \u2014 correos, res\u00famenes, an\u00e1lisis, borradores \u2014 todos los grandes proveedores entregan resultados utilizables. La diferencia que sostiene o hace fracasar su proyecto est\u00e1 en otra parte.<\/p>\n\n\n\n
Una divulgaci\u00f3n por delante:<\/strong> me gano la vida con consultor\u00eda y formaci\u00f3n en torno a Claude. Eso ti\u00f1e, como es natural, mis valoraciones. Precisamente por eso este esquema est\u00e1 a la vista: con \u00e9l puede rehacer las cuentas y llegar a un resultado distinto del m\u00edo. Adem\u00e1s, en las comparativas siguientes menciono expresamente en cada art\u00edculo los casos en los que otra herramienta es la mejor opci\u00f3n.<\/p>\n\n\n\n Toda herramienta luce bien en la demostraci\u00f3n. La cuesti\u00f3n es qu\u00e9 ocurre cuando la alimenta con su trabajo real: la oferta de 40 p\u00e1ginas, la hoja de Excel que ha ido creciendo, el hilo de correo de siete meses con tres interlocutores.<\/p>\n\n\n\n As\u00ed lo pruebo:<\/strong> tomo entre tres y cinco tareas que surgen semanalmente en la empresa y hago que las resuelva cada candidato \u2014 con documentos reales, no con datos de ejemplo. No se valora qu\u00e9 resultado suena mejor, sino cu\u00e1nto retoque hace falta hasta que sea utilizable. Una herramienta que en el 80 por ciento de los casos es brillante y en el 20 por ciento entrega disparates inservibles que adem\u00e1s hay que ir a buscar es peor en el d\u00eda a d\u00eda que otra que se mantiene s\u00f3lida de forma constante.<\/p>\n\n\n\n Un modelo de lenguaje sin acceso a su informaci\u00f3n es un becario muy le\u00eddo en su primer d\u00eda de trabajo. Conoce el mundo, pero no su empresa. El verdadero salto de utilidad se produce all\u00ed donde la herramienta llega a sus datos: a los archivos, al buz\u00f3n de correo, al repositorio, a la aplicaci\u00f3n especializada.<\/p>\n\n\n\n Las preguntas decisivas: \u00bfpuedo dejar archivos y carpetas guardados de forma permanente, o tengo que subirlos de nuevo en cada conversaci\u00f3n? \u00bfHay conectores con los sistemas que ya usamos? \u00bfY se puede construir una conexi\u00f3n propia si para nuestro sistema especializado no existe nada hecho \u2014 por ejemplo a trav\u00e9s del Model Context Protocol<\/a>?<\/p>\n\n\n\n Aqu\u00ed est\u00e1 el error m\u00e1s caro con el que me encuentro en las sesiones de asesoramiento \u2014 y no tiene que ver con la elecci\u00f3n del proveedor, sino con la elecci\u00f3n del plan.<\/p>\n\n\n\n En los grandes proveedores rige el mismo patr\u00f3n: en los planes particulares<\/strong> los contenidos se utilizan por defecto para entrenar los modelos, y es posible optar por excluirse. En los planes de empresa<\/strong> no se entrena por defecto con sus contenidos. Dicho claramente: el problema de protecci\u00f3n de datos es el empleado que, con su acceso gratuito privado, hace resumir sin m\u00e1s un contrato de cliente \u2014 no la elecci\u00f3n de proveedor a nivel de direcci\u00f3n.<\/p>\n\n\n\n Lo que compruebo en concreto: \u00bfse entrena con nuestros datos y a partir de qu\u00e9 plan deja de hacerse? \u00bfExiste un contrato de encargo de tratamiento y qui\u00e9n es la parte contratante? \u00bfD\u00f3nde est\u00e1n los datos? \u00bfCu\u00e1nto tiempo se conservan y se puede configurar? \u00bfQu\u00e9 subencargados intervienen?<\/p>\n\n\n\n Esto es una valoraci\u00f3n pr\u00e1ctica desde la consultor\u00eda, no asesoramiento jur\u00eddico. Para la evaluaci\u00f3n vinculante de su caso concreto necesita a su delegado de protecci\u00f3n de datos o a un despacho de abogados.<\/p>\n\n\n\n Una herramienta que solo saben manejar las dos compa\u00f1eras con afinidad t\u00e9cnica no cambia nada en el resultado de la empresa. La pregunta no es lo buena que es el software en el mejor de los casos, sino cu\u00e1ntas personas la usar\u00e1n realmente en el d\u00eda a d\u00eda.<\/p>\n\n\n\nCriterio 1: carga de trabajo real en lugar de prompt de demostraci\u00f3n<\/h2>\n\n\n\n
Criterio 2: conexi\u00f3n al contexto<\/h2>\n\n\n\n
Criterio 3: protecci\u00f3n de datos y situaci\u00f3n contractual<\/h2>\n\n\n\n
Criterio 4: facilidad de implantaci\u00f3n en el equipo<\/h2>\n\n\n\n