Benchmark Parsimony mede quanto código modelos de IA realmente adicionam

O Parsimony, benchmark open-source, foi criado para medir quanto código modelos de IA adicionam ao resolver tarefas, indo além de métricas tradicionais de taxa de acerto e custo. Em vez de contar linhas, ele contabiliza unidades de código como elementos de sintaxe (declarações, chamadas, comparações, nomes e literais), subtraindo trechos removidos para chegar ao total líquido: unidades adicionadas menos unidades removidas.

O ranking considera a média de “unidades líquidas adicionadas” nos desafios que o modelo resolveu, incluindo tentativas falhas, com “resolvido” baseado no SWE-bench Verified. O método aplica os patches publicados, faz a análise sintática dos arquivos alterados e não executa testes novamente, além de excluir testes, documentação e arquivos gerados; a proposta busca reduzir o incentivo a soluções com excesso de código.