A maioria das compara\u00e7\u00f5es de IA mede o que n\u00e3o interessa. P\u00f5e lado a lado pontua\u00e7\u00f5es de benchmarks, compara janelas de contexto e coroa um vencedor \u2014 e n\u00e3o responde a uma \u00fanica pergunta que surja realmente numa empresa. Neste artigo exponho a grelha com que avalio ferramentas de IA para clientes. Sete crit\u00e9rios, nenhum deles um benchmark. Todas as compara\u00e7\u00f5es seguintes neste blogue usam exatamente esta grelha.<\/p>\n\n\n\n
Quando surge um modelo novo, as tabelas comparativas est\u00e3o na internet em poucas horas. Mostram pontua\u00e7\u00f5es em testes padronizados: matem\u00e1tica, programa\u00e7\u00e3o, compreens\u00e3o de texto. Isso n\u00e3o \u00e9 in\u00fatil \u2014 mas responde a uma pergunta que n\u00e3o chegou a fazer. N\u00e3o quer saber que modelo resolve melhor uma cole\u00e7\u00e3o de exerc\u00edcios. Quer saber se a sua contabilidade fica pronta mais depressa e se o escrit\u00f3rio de advogados ao lado n\u00e3o vai de repente encontrar os seus rascunhos de contratos num conjunto de dados de treino alheio.<\/p>\n\n\n\n
Acresce que a dist\u00e2ncia entre os modelos l\u00edderes se tornou claramente menor nos \u00faltimos dois anos. Para a esmagadora maioria das tarefas numa PME \u2014 e-mails, resumos, an\u00e1lises, rascunhos \u2014 todos os grandes fornecedores entregam resultados aproveit\u00e1veis. A diferen\u00e7a que sustenta ou faz fracassar o seu projeto est\u00e1 noutro s\u00edtio.<\/p>\n\n\n\n
Uma divulga\u00e7\u00e3o antes de mais:<\/strong> ganho a vida com consultoria e forma\u00e7\u00e3o em torno do Claude. Isso tinge naturalmente as minhas avalia\u00e7\u00f5es. \u00c9 justamente por isso que esta grelha est\u00e1 exposta \u2014 pode refazer as contas e chegar a um resultado diferente do meu. Nas compara\u00e7\u00f5es seguintes indico al\u00e9m disso, em cada artigo, expressamente os casos em que outra ferramenta \u00e9 a melhor escolha.<\/p>\n\n\n\n Qualquer ferramenta fica bem na demonstra\u00e7\u00e3o. A quest\u00e3o \u00e9 o que acontece quando a alimenta com o seu trabalho real: a proposta de 40 p\u00e1ginas, a folha de Excel que foi crescendo, a troca de e-mails ao longo de sete meses com tr\u00eas interlocutores.<\/p>\n\n\n\n Como testo isto:<\/strong> pego em tr\u00eas a cinco tarefas que surgem semanalmente na empresa e deixo cada candidato trat\u00e1-las \u2014 com documentos verdadeiros, n\u00e3o com dados de exemplo. Avalia-se n\u00e3o que resultado soa mais bonito, mas quanto retrabalho \u00e9 preciso at\u00e9 ser utiliz\u00e1vel. Uma ferramenta brilhante em 80 por cento dos casos e que em 20 por cento entrega disparates in\u00fateis, que ainda \u00e9 preciso ir descobrir, \u00e9 pior no dia a dia do que uma que se mantenha sempre s\u00f3lida.<\/p>\n\n\n\n Um modelo de linguagem sem acesso \u00e0s suas informa\u00e7\u00f5es \u00e9 um estagi\u00e1rio muito lido no primeiro dia de trabalho. Conhece o mundo, mas n\u00e3o a sua empresa. O verdadeiro salto na utilidade acontece onde a ferramenta chega aos seus dados: aos ficheiros, \u00e0 caixa de correio, ao arquivo, \u00e0 aplica\u00e7\u00e3o de neg\u00f3cio.<\/p>\n\n\n\n As perguntas decisivas: posso guardar ficheiros e pastas de forma permanente, ou tenho de os carregar de novo em cada conversa? Existem conectores para os sistemas que j\u00e1 usamos de qualquer modo? E \u00e9 poss\u00edvel construir uma liga\u00e7\u00e3o pr\u00f3pria quando n\u00e3o h\u00e1 nada pronto para o nosso sistema de neg\u00f3cio \u2014 por exemplo atrav\u00e9s do Model Context Protocol<\/a>?<\/p>\n\n\n\n \u00c9 aqui que est\u00e1 o erro mais caro que encontro em conversas de consultoria \u2014 e n\u00e3o diz respeito \u00e0 escolha do fornecedor, mas \u00e0 escolha do tarif\u00e1rio.<\/p>\n\n\n\n Nos grandes fornecedores vale o mesmo padr\u00e3o: nos tarif\u00e1rios privados<\/strong> os conte\u00fados s\u00e3o por norma usados para o treino dos modelos, sendo poss\u00edvel optar por sair. Nos tarif\u00e1rios empresariais<\/strong> n\u00e3o h\u00e1, por norma, qualquer treino com os seus conte\u00fados. Em bom portugu\u00eas: o colaborador que, com o seu acesso gratuito privado, manda resumir num instante um contrato de cliente \u00e9 o problema de prote\u00e7\u00e3o de dados \u2014 n\u00e3o a escolha do fornecedor ao n\u00edvel da dire\u00e7\u00e3o.<\/p>\n\n\n\n O que verifico em concreto: treina-se com os nossos dados e a partir de que tarif\u00e1rio deixa de acontecer? Existe um contrato de subcontrata\u00e7\u00e3o e quem \u00e9 a contraparte? Onde est\u00e3o os dados? Durante quanto tempo s\u00e3o conservados e isso \u00e9 configur\u00e1vel? Que subcontratantes est\u00e3o envolvidos?<\/p>\n\n\n\n Esta \u00e9 uma avalia\u00e7\u00e3o pr\u00e1tica, sa\u00edda da consultoria, e n\u00e3o aconselhamento jur\u00eddico. Para a aprecia\u00e7\u00e3o vinculativa do seu caso concreto precisa do seu encarregado da prote\u00e7\u00e3o de dados ou de um escrit\u00f3rio de advogados.<\/p>\n\n\n\n Uma ferramenta que s\u00f3 as duas colegas com jeito para a t\u00e9cnica conseguem usar n\u00e3o muda nada no resultado da empresa. A quest\u00e3o n\u00e3o \u00e9 qu\u00e3o boa \u00e9 a aplica\u00e7\u00e3o no melhor dos casos, mas quantas pessoas a v\u00e3o efetivamente usar no dia a dia.<\/p>\n\n\n\nCrit\u00e9rio 1: carga de trabalho real em vez do prompt de demonstra\u00e7\u00e3o<\/h2>\n\n\n\n
Crit\u00e9rio 2: liga\u00e7\u00e3o ao contexto<\/h2>\n\n\n\n
Crit\u00e9rio 3: prote\u00e7\u00e3o de dados e situa\u00e7\u00e3o contratual<\/h2>\n\n\n\n
Crit\u00e9rio 4: capacidade de implementa\u00e7\u00e3o na equipa<\/h2>\n\n\n\n