LLM-as-a-judge: como os modelos de IA avaliam as respostas de outras IA em 2026

O LLM-as-a-judge consiste em usar um grande modelo de linguagem para avaliar as respostas de outro sistema de IA, dando-lhe critérios e pedindo-lhe uma pontuação, uma classificação ou um veredicto. Em vez de pagar a pessoas para lerem milhares de respostas, as equipas escrevem um prompt de avaliação, por exemplo «avalie esta resposta de 1 a 5 quanto à exatidão factual e explique porquê», e deixam a avaliação a um modelo capaz.

O método generalizou-se depois de um artigo de investigação de 2023 sobre o MT-Bench e o Chatbot Arena, que mostrou que modelos potentes como o GPT-4 concordavam com as preferências humanas em mais de 80% dos casos, um nível semelhante ao acordo entre dois avaliadores humanos. Faz hoje parte da avaliação de LLM, a par dos benchmarks e da revisão humana.

O que é o LLM-as-a-judge?

Um modelo juiz recebe três coisas: a tarefa dada ao sistema avaliado, a resposta que produziu e uma grelha de avaliação. A grelha enumera o que verificar, por exemplo exatidão, completude, tom, uso de fontes ou ausência de factos inventados. O juiz devolve um resultado estruturado, normalmente uma pontuação com uma breve justificação.

O juiz pode pertencer à mesma família de modelos do sistema avaliado ou a outra. Pode ser um LLM generalista ou um modelo mais pequeno afinado para avaliação. O que importa é que os seus julgamentos sejam consistentes e próximos do que decidiria um especialista humano cuidadoso.

Como funciona o LLM-as-a-judge?

Há três formatos comuns. A pontuação individual pede ao juiz que classifique uma resposta numa escala. A comparação em pares mostra duas respostas à mesma pergunta e pergunta qual é a melhor, o que costuma ser mais fiável do que uma nota absoluta. A avaliação guiada por referência dá ao juiz uma resposta correta ou um documento de origem e pergunta se a saída corresponde, o que ajuda a detetar uma alucinação de IA.

Uma boa configuração inclui critérios claros, exemplos de boas e más respostas, um pedido de raciocínio antes da nota e um formato de saída fixo. As equipas correm depois o juiz numa amostra também anotada por pessoas, medem o acordo e ajustam a grelha até os dois convergirem.

LLM-as-a-judge, avaliação humana e benchmarks

A avaliação humana continua a ser a referência, mas é lenta, cara e difícil de repetir sempre que muda um modelo ou um prompt. Os benchmarks de IA estáticos são baratos e reprodutíveis, mas testam perguntas fixas com respostas conhecidas e dizem pouco sobre tarefas abertas como redigir, resumir ou recomendar.

O LLM-as-a-judge fica no meio: avalia respostas abertas em grande escala e volta a correr em minutos. Na prática, as equipas combinam os três: benchmarks para as capacidades, um juiz LLM para os testes de regressão diários e revisões humanas periódicas para manter o juiz honesto.

Enviesamentos conhecidos e limites

O artigo de 2023 que popularizou o método descreveu também os seus enviesamentos. Enviesamento de posição: nas comparações em pares, os juízes tendem a favorecer a resposta mostrada em primeiro ou em segundo lugar, independentemente da qualidade. Enviesamento de verbosidade: as respostas longas são muitas vezes mais bem avaliadas mesmo quando nada acrescentam. Enviesamento de autopreferência: um modelo pode preferir respostas escritas no seu próprio estilo ou pela sua própria família.

Outros limites são a especialização reduzida em temas técnicos, a sensibilidade à formulação exata da grelha e o risco de premiar respostas confiantes mas erradas quando não há referência. As medidas habituais são trocar a ordem das respostas e fazer a média, definir orientações de extensão, usar um juiz de outro fornecedor e validar sempre numa amostra anotada por pessoas.

Como o LLM-as-a-judge é usado na pesquisa e no conteúdo

As equipas de pesquisa e de IA usam juízes LLM para avaliar em grande escala a recuperação e as respostas: a passagem recuperada é relevante, a resposta final é fiel às fontes, responde à pergunta? A nossa página sobre avaliação da recuperação trata a parte de recuperação deste processo.

As equipas de conteúdo aplicam a mesma ideia para rever rascunhos com uma lista de verificação: o artigo responde à pergunta principal no primeiro parágrafo, as afirmações têm fontes, há números sem suporte? Um juiz LLM não substitui um editor, mas deteta falhas recorrentes antes da revisão humana.

Porque é que o LLM-as-a-judge conta para o SEO e o GEO

Em SEO, os juízes LLM são uma forma prática de auditar a qualidade de centenas de páginas com critérios consistentes, inspirados nas orientações da Google sobre conteúdo útil. Usados com cuidado, ajudam a definir que páginas reescrever primeiro.

Em GEO, o método serve para analisar as respostas das IA sobre o seu mercado: quando o ChatGPT, o Gemini ou o Perplexity respondem a uma pergunta de um comprador, um juiz pode classificar se a sua marca é recomendada, apenas mencionada ou descrita de forma inexata. A matéria-prima são as próprias respostas. O rastreamento de menções nas IA da Sorank coloca todas as semanas as perguntas dos seus compradores ao ChatGPT, ao Gemini, ao Claude, ao Perplexity e ao Grok e regista as menções e uma pontuação de visibilidade da sua marca.

Conclusão

O LLM-as-a-judge usa um modelo de linguagem para avaliar as respostas de outro segundo critérios explícitos. Torna a avaliação de respostas abertas rápida e repetível, mas traz enviesamentos de posição, de extensão e de autopreferência. Encare-o como um primeiro revisor escalável, calibrado com julgamentos humanos, e não como uma verdade absoluta.

Para aprofundar, leia as nossas definições de avaliação de LLM e de alucinação de IA. Fontes de referência: Zheng et al., «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena» (2023) e «A Survey on LLM-as-a-Judge» (2024).