Executar Gemma 4 em um laptop de 16GB é coisa de uma tarde de domingo. Conhecer seu desempenho é uma conversa mais longa. Se você já trocou entre Ollama, LM Studio e llama.cpp pela terceira vez e ainda não consegue responder “qual quantização é realmente melhor para meu hardware?”, um desses sete aplicativos de benchmark de LLM local vai te tirar dessa adivinhação.
Escolhemos aplicativos que relatam números reproduzíveis no desktop para uma configuração local de LLM de um único usuário. Benchmarks de velocidade (tokens por segundo em seu hardware) aparecem junto com benchmarks de qualidade (precisão em suites públicas), para que você possa escolher uma ferramenta que corresponda ao que está perguntando.
O que procurar em um aplicativo de benchmark de LLM local
- O que você está realmente medindo. Throughput, latência, footprint de VRAM, qualidade em um dataset conhecido, e qualidade por tarefa em seu próprio dataset são cinco perguntas diferentes.
- Um executor local. A ferramenta precisa chegar ao modelo onde ele vive. Isso significa Ollama, llama.cpp, servidor compatível com OpenAI do LM Studio, ou um callable Python direto.
- Um dataset conhecido. MMLU, TruthfulQA, HellaSwag e IFEval são nomes frequentemente citados. Se nenhum deles estiver na ferramenta, não é um benchmark.
- Saída repetível. Um relatório JSON ou CSV com hash do modelo e da configuração, não apenas uma captura de tela.
- Visibilidade de custos. Mesmo uma execução “local” tem um custo de tempo real. Ferramentas que mostram tempo até o primeiro token e throughput em estado estacionário tornam os compromissos visíveis.
Comparação rápida
| Aplicativo | Melhor para | Plataformas | Grátis | Destaque |
|---|---|---|---|---|
| lm-evaluation-harness | Reproduzir pontuações de qualidade publicadas | Windows, macOS, Linux | Grátis, código aberto | Implementação de referência de MMLU, IFEval, etc. |
| llama-bench | Testes de throughput e latência brutos | Windows, macOS, Linux | Grátis | Incluído com llama.cpp, GGUF nativo |
| MLPerf Client | Benchmark de hardware agnóstico de fornecedor | Windows | Grátis | AMD, Intel, Nvidia todos o usam |
| DeepEval | Seu dataset, suas métricas | Windows, macOS, Linux | Nível gratuito | Sintaxe de estilo pytest, LLM-as-judge |
| Promptfoo | Avaliação comparativa entre modelos | Windows, macOS, Linux | Grátis, código aberto | Diffs de saída lado a lado no navegador |
| HELM | Benchmark acadêmico abrangente | Windows, macOS, Linux | Grátis, código aberto | Referência para comparação entre modelos |
| OpenAI Evals | Casos de teste em nível de prompt | Windows, macOS, Linux | Grátis, código aberto | Autoria fácil, enorme catálogo da comunidade |
Os aplicativos
1. lm-evaluation-harness — Melhor para reprodutibilidade de benchmarks conhecidos
lm-evaluation-harness, da EleutherAI, é a implementação de referência usada pela maioria dos lançamentos de modelos para publicar MMLU, IFEval, HellaSwag, ARC, TruthfulQA e dezenas de outros. Aponte-o para um modelo local e reproduza os mesmos números que o paper cita.
Onde falha: Os downloads de dataset são grandes. A configuração inicial em um laptop solicita dezenas de gigabytes de cache.
Preços:
- Grátis: Biblioteca completa de código aberto
- Pago: Nenhum
Plataformas: Windows, macOS, Linux (Python)
Baixar: GitHub
Conclusão: A opção quando o objetivo é “reproduzir a pontuação do paper em meu hardware”.
2. llama-bench — Melhor para testes de throughput e latência
llama-bench está incluído no repositório llama.cpp e mede tokens brutos por segundo em quantizações GGUF, comprimentos de prompt e configurações de backend. Ele responde “Q5_K_M será realmente mais rápido que Q4_K_S nesta CPU?” sem que um wrapper de chat fique no caminho.
Onde falha: Apenas velocidade. Não diz nada sobre a qualidade da saída.
Preços:
- Grátis: Incluído com llama.cpp
- Pago: Nenhum
Plataformas: Windows, macOS, Linux
Baixar: GitHub
Conclusão: A opção quando você precisa de números de throughput para comparar um modelo em sua máquina.
3. MLPerf Client — Melhor para benchmark de hardware agnóstico de fornecedor
MLPerf Client é o benchmark MLCommons que AMD, Intel e Nvidia citam para desempenho de inferência LLM em hardware de usuário final. Os números são diretamente comparáveis entre fornecedores porque todos executam a mesma suite.
Onde falha: Windows primeiro. A lista de modelos é fixa e curada, então não é uma ferramenta de benchmark de propósito geral.
Preços:
- Grátis: Suite completa
- Pago: Nenhum
Plataformas: Windows
Baixar: mlcommons.org
Conclusão: A opção para comparar um laptop Ryzen AI com um Core Ultra sem discutir sobre metodologia.
4. DeepEval — Melhor para seu próprio dataset
DeepEval é um framework Python que transforma avaliação em casos de teste de estilo pytest. As métricas incluem pontuação LLM-as-judge, detecção de alucinações, precisão contextual e relevância de resposta, e cada teste pode ser executado contra um modelo local.
Onde falha: Algumas métricas avançadas chamam modelos hospedados por padrão. Ler a configuração para direcioná-las a um juiz local vale uma noite.
Preços:
- Grátis: Biblioteca completa de código aberto
- Pago: Nível de observabilidade gerenciado
Plataformas: Windows, macOS, Linux
Baixar: GitHub
Conclusão: A opção quando o benchmark que você quer executar é um que você escreve.
5. Promptfoo — Melhor para comparação lado a lado
Promptfoo executa os mesmos prompts em vários modelos e produz uma visualização de diferença baseada em navegador. Ele também funciona como uma ferramenta de red-teaming, mas para um fluxo de trabalho de benchmark a visualização de comparação é a razão para instalá-lo.
Onde falha: A visualização de comparação é mais forte que a visualização de métricas brutas. Emparelhe-o com lm-evaluation-harness ou DeepEval para pontuações de referência.
Preços:
- Grátis: CLI completo de código aberto
- Pago: Nível de equipe gerenciado
Plataformas: Windows, macOS, Linux (Node.js)
Baixar: promptfoo.dev
Conclusão: A opção quando a pergunta é “o modelo A ou o modelo B responde melhor aos meus dez prompts?“.
6. HELM — Melhor referência acadêmica
HELM, do CRFM de Stanford, é o projeto “Holistic Evaluation of Language Models”. Ele publica um leaderboard autorizado entre modelos usando um benchmark de cenários amplos, e o mesmo código é executado localmente em relação ao seu próprio modelo.
Onde falha: Pesado. Execuções completas de HELM levam horas em uma estação de trabalho. Não é uma ferramenta de laptop para uma verificação rápida.
Preços:
- Grátis: Projeto completo de código aberto
- Pago: Nenhum
Plataformas: Windows, macOS, Linux
Baixar: GitHub
Conclusão: A opção quando os números precisam ser defensáveis em um paper ou relatório técnico.
7. OpenAI Evals — Melhor para casos de teste escrito pela comunidade
OpenAI Evals é um framework para escrever casos de teste em nível de prompt (o catálogo da comunidade inclui matemática, quebra-cabeças lógicos, código e raciocínio) e executá-los contra qualquer modelo atrás de um endpoint compatível com OpenAI.
Onde falha: A qualidade do catálogo varia. Algumas avaliações são mais fortes que outras.
Preços:
- Grátis: Framework de código aberto
- Pago: Nenhum
Plataformas: Windows, macOS, Linux
Baixar: GitHub
Conclusão: A opção quando a forma mais rápida de testar um modelo é pegar uma avaliação da comunidade, apontar para seu endpoint local e ler os resultados.
Como escolher a correta
Se você quer reproduzir pontuações de qualidade publicadas: lm-evaluation-harness. Reserve espaço em disco e café.
Se você quer comparar throughput em seu hardware: llama-bench. É a forma mais rápida de responder uma pergunta de quant-vs-quant.
Se você está comparando laptops ou GPUs: MLPerf Client. Agnóstico de fornecedor, maçã com maçã.
Se seu benchmark é seu próprio dataset: DeepEval. Testes de estilo pytest para LLMs.
Se o objetivo é uma visualização lado a lado de dois modelos em seus prompts: Promptfoo.
Se os números precisam de credibilidade acadêmica: HELM. Aceite a execução longa.
Se os testes escritos pela comunidade são suficientes: OpenAI Evals. Pegue um diretório, aponte para seu modelo, execute.
Perguntas frequentes
Qual é o melhor benchmark de LLM local no geral? lm-evaluation-harness para reprodutibilidade de qualidade. llama-bench para velocidade em seu hardware.
Posso fazer benchmark de um modelo rodando em Ollama ou LM Studio? Sim. Todas as ferramentas nesta lista suportam um endpoint compatível com OpenAI, e Ollama, LM Studio e Jan todos o expõem.
O que é MMLU e por que todos citam? MMLU é um benchmark de múltipla escolha em muitos tópicos acadêmicos. É citado porque muitos modelos publicam sua pontuação e as comparações são fáceis de fazer.
Um aplicativo de benchmark é o mesmo que um aplicativo de red-teaming? Não. Benchmark mede capacidade e velocidade. Red teaming testa segurança. Promptfoo pode fazer ambos; lm-evaluation-harness faz apenas o primeiro.
Preciso de uma GPU para executar esses benchmarks? Não. lm-evaluation-harness e llama-bench rodam em CPU. Benchmarks de velocidade são onde a GPU faz a diferença mais visível.
Todas essas ferramentas são gratuitas? Cada ferramenta nesta lista tem um nível gratuito. Apenas DeepEval e Promptfoo vendem observabilidade gerenciada além disso.
