A maioria das comparações de IA mede o que não interessa. Põe lado a lado pontuações de benchmarks, compara janelas de contexto e coroa um vencedor — e não responde a uma única pergunta que surja realmente numa empresa. Neste artigo exponho a grelha com que avalio ferramentas de IA para clientes. Sete critérios, nenhum deles um benchmark. Todas as comparações seguintes neste blogue usam exatamente esta grelha.
O essencial em resumo
- Os benchmarks dizem pouco sobre a utilidade na empresa — medem condições de laboratório, não o seu dia a dia de trabalho.
- Sete critérios decidem na prática: carga de trabalho real, ligação ao contexto, proteção de dados, capacidade de implementação, custos totais, custos de saída, ritmo de desenvolvimento.
- A licença é a menor parcela de custo — e ainda assim a âncora de decisão mais frequente.
- Quase ninguém verifica os custos de saída, ainda que ao longo dos anos fiquem mais caros do que o preço de entrada.
- A grelha não substitui uma decisão. Serve apenas para que faça as perguntas certas antes de tomar uma.
Porque uso uma grelha própria
Quando surge um modelo novo, as tabelas comparativas estão na internet em poucas horas. Mostram pontuações em testes padronizados: matemática, programação, compreensão de texto. Isso não é inútil — mas responde a uma pergunta que não chegou a fazer. Não quer saber que modelo resolve melhor uma coleção de exercícios. Quer saber se a sua contabilidade fica pronta mais depressa e se o escritório de advogados ao lado não vai de repente encontrar os seus rascunhos de contratos num conjunto de dados de treino alheio.
Acresce que a distância entre os modelos líderes se tornou claramente menor nos últimos dois anos. Para a esmagadora maioria das tarefas numa PME — e-mails, resumos, análises, rascunhos — todos os grandes fornecedores entregam resultados aproveitáveis. A diferença que sustenta ou faz fracassar o seu projeto está noutro sítio.
Uma divulgação antes de mais: ganho a vida com consultoria e formação em torno do Claude. Isso tinge naturalmente as minhas avaliações. É justamente por isso que esta grelha está exposta — pode refazer as contas e chegar a um resultado diferente do meu. Nas comparações seguintes indico além disso, em cada artigo, expressamente os casos em que outra ferramenta é a melhor escolha.
Critério 1: carga de trabalho real em vez do prompt de demonstração
Qualquer ferramenta fica bem na demonstração. A questão é o que acontece quando a alimenta com o seu trabalho real: a proposta de 40 páginas, a folha de Excel que foi crescendo, a troca de e-mails ao longo de sete meses com três interlocutores.
Como testo isto: pego em três a cinco tarefas que surgem semanalmente na empresa e deixo cada candidato tratá-las — com documentos verdadeiros, não com dados de exemplo. Avalia-se não que resultado soa mais bonito, mas quanto retrabalho é preciso até ser utilizável. Uma ferramenta brilhante em 80 por cento dos casos e que em 20 por cento entrega disparates inúteis, que ainda é preciso ir descobrir, é pior no dia a dia do que uma que se mantenha sempre sólida.
Critério 2: ligação ao contexto
Um modelo de linguagem sem acesso às suas informações é um estagiário muito lido no primeiro dia de trabalho. Conhece o mundo, mas não a sua empresa. O verdadeiro salto na utilidade acontece onde a ferramenta chega aos seus dados: aos ficheiros, à caixa de correio, ao arquivo, à aplicação de negócio.
As perguntas decisivas: posso guardar ficheiros e pastas de forma permanente, ou tenho de os carregar de novo em cada conversa? Existem conectores para os sistemas que já usamos de qualquer modo? E é possível construir uma ligação própria quando não há nada pronto para o nosso sistema de negócio — por exemplo através do Model Context Protocol?
Critério 3: proteção de dados e situação contratual
É aqui que está o erro mais caro que encontro em conversas de consultoria — e não diz respeito à escolha do fornecedor, mas à escolha do tarifário.
Nos grandes fornecedores vale o mesmo padrão: nos tarifários privados os conteúdos são por norma usados para o treino dos modelos, sendo possível optar por sair. Nos tarifários empresariais não há, por norma, qualquer treino com os seus conteúdos. Em bom português: o colaborador que, com o seu acesso gratuito privado, manda resumir num instante um contrato de cliente é o problema de proteção de dados — não a escolha do fornecedor ao nível da direção.
O que verifico em concreto: treina-se com os nossos dados e a partir de que tarifário deixa de acontecer? Existe um contrato de subcontratação e quem é a contraparte? Onde estão os dados? Durante quanto tempo são conservados e isso é configurável? Que subcontratantes estão envolvidos?
Esta é uma avaliação prática, saída da consultoria, e não aconselhamento jurídico. Para a apreciação vinculativa do seu caso concreto precisa do seu encarregado da proteção de dados ou de um escritório de advogados.
Critério 4: capacidade de implementação na equipa
Uma ferramenta que só as duas colegas com jeito para a técnica conseguem usar não muda nada no resultado da empresa. A questão não é quão boa é a aplicação no melhor dos casos, mas quantas pessoas a vão efetivamente usar no dia a dia.
Disso faz parte o que é pouco espetacular: existe uma gestão central de utilizadores? Consegue ligar-se tudo isto à autenticação existente? Consigo, como administrador, ver quem a usa — e quem não usa? E quanta formação é realisticamente precisa até alguém sem conhecimentos prévios se tornar produtivo com ela? A minha experiência: duas a três horas acompanhadas por pessoa rendem mais do que qualquer lista de funcionalidades. Como decorre de forma estruturada uma introdução destas descrevi-o no plano de seis semanas.
Critério 5: custos totais ao longo de doze meses
A taxa de licenciamento é a rubrica de que todos falam e a menor das três. Faça antes as contas assim:
- Licença: preço por posto × número de pessoas × doze meses. Atenção às quantidades mínimas e a saber se é exigida uma licença de base — em alguns fornecedores o preço publicitado é apenas o suplemento.
- Implementação: seleção, configuração, política interna, ligação aos seus sistemas. Único, mas raramente pequeno.
- Formação e acompanhamento: não a demonstração única, mas o acompanhamento nos primeiros meses, quando as perguntas começam a surgir.
Com dez pessoas, os custos de licença situam-se, conforme o fornecedor, na casa baixa dos milhares de euros por ano. A implementação e a formação ficam, pela experiência, acima disso. Quem compara apenas a licença está a otimizar a menor alavanca.
Critério 6: custos de saída
O critério que quase nunca aparece nos processos de seleção — e que fica mais caro a cada mês. A pergunta é: quanto custa mudar daqui a dois anos?
Em concreto: consigo recuperar os meus históricos de conversa, os documentos guardados e os modelos que construí, e em que formato? Quanto trabalho está investido em configuração e ligações que se perde na mudança? E até que ponto se enraizou a ferramenta em processos de trabalho que depois têm de ser reescritos?
A minha regra prática: tudo o que formula por si próprio — políticas internas, modelos, conhecimento da empresa organizado — deve estar num formato que continue a conseguir ler mesmo sem o fornecedor. Ficheiros de texto simples no seu próprio arquivo não são um retrocesso, são um seguro.
Critério 7: ritmo do desenvolvimento do produto
Um critério de dois gumes. Um ritmo elevado significa que dentro de um ano a sua ferramenta fará bastante mais do que hoje — sem que tenha de fazer nada. Mas significa também que os seus materiais de formação envelhecem, que as interfaces se deslocam e que uma funcionalidade em torno da qual construiu um processo pode voltar a desaparecer.
O que avalio aqui é menos a velocidade e mais a fiabilidade: o fornecedor anuncia as alterações? Há prazos de transição? As interfaces mantêm-se estáveis, mesmo quando o aspeto muda? Para uma empresa que assenta processos numa ferramenta, a previsibilidade vale mais do que a próxima funcionalidade.
Como aplicar a grelha
Nem todos os sete critérios pesam o mesmo — isso depende da sua situação. Um gabinete de contabilidade dá muito peso à proteção de dados e aos custos de saída. Uma agência de publicidade dá muito peso à carga de trabalho real e à ligação ao contexto e pode ser mais pragmática na proteção de dados, desde que não estejam em jogo dados de clientes.
A minha proposta: atribua pesos antes da comparação — que três critérios são para si os mais importantes? Só depois olhe para as ferramentas. Ao contrário acontece regularmente que um pormenor impressionante desloca a ponderação a posteriori.
Perguntas frequentes
Os benchmarks são completamente inúteis?
Não. Mostram de forma fiável se um modelo fica claramente abaixo numa categoria. Mas para a escolha entre os três ou quatro fornecedores líderes servem de pouco, porque aí as diferenças são pequenas e as condições de teste estão longe do seu dia a dia de trabalho.
Quanto tempo demora uma avaliação segundo esta grelha?
Para dois candidatos, realisticamente duas a três semanas: uma semana para as tarefas de teste, uma para a verificação da proteção de dados e dos contratos, mais o tempo de que os seus departamentos precisam para dar resposta. Quem decide isso numa tarde decide por intuição — o que às vezes chega, mas então que seja de forma consciente.
Não podemos simplesmente usar várias ferramentas em paralelo?
Pode — só custa mais do que a maioria espera. Não em taxas de licença, mas em coordenação, formação e esforço de proteção de dados por cada ferramenta adicional. A minha recomendação é uma ferramenta padrão mais uma segunda ferramenta deliberadamente autorizada.
A grelha vale também para empresas pequenas?
Sim, apenas com menos esforço. Com três pessoas verifica os mesmos sete pontos, mas em poucas horas em vez de semanas. Os critérios não mudam, apenas a profundidade da análise.
Então que ferramenta recomenda afinal?
Isso depende da sua ponderação — é para isso que existe esta grelha. Nos artigos seguintes desta série faço as contas de cada um dos candidatos habituais, sempre com os casos em que ganham e aqueles em que perdem.