Como avaliar coding agents: testes, contratos e camadas além da taxa de acerto

O artigo discute como avaliar coding agents, respondendo a uma divergência com uma “software factory” que defendia que esses agentes não poderiam ser avaliados. O texto argumenta que o agente não é apenas um modelo: o resultado depende do conjunto modelo + harness + ferramentas + contexto do repositório + instruções + permissões + ambiente de execução e do loop de feedback. Por isso, benchmarks públicos podem medir combinações específicas e não apenas o modelo subjacente.

A avaliação, segundo o autor, deve ir além de “passou nos testes”, incluindo checagens como build, testes públicos e hidden, compatibilidade de APIs e formatos, migrações, limites de desempenho e segurança, além de verificar alterações fora do escopo permitido. Também é necessário repetir execuções para lidar com não determinismo e usar camadas como qualidade da mudança, trajetória, intervenção humana, custo e impacto em produção, porque um único número não captura tudo.