Agente de código Claude Code falha 60% no benchmark Real-SWE
Claude Fable 5.1, executado via Claude Code, venceu o benchmark Real-SWE com 38,8%, mas falhou em mais de 6 de cada 10 tentativas. O Real-SWE, da Specific Labs, usa código privado de empresas e tarefas parecidas com as rotinas de engenheiros, em vez de problemas retirados de repositórios públicos.
Os testes incluíram oito tentativas por tarefa e avaliaram o modelo junto com sua ferramenta de coding agent: Fable 5.1 com Claude Code, Astra com Codex CLI e Gemini 3.8 Flash com Gemini CLI. Mesmo assim, seis dos 10 cenários tiveram taxas de sucesso abaixo de 15%, e nenhum modelo resolveu consistentemente tarefas como o analytics stream reducer e a linearizable scan.
The New Stack
O texto acima é um resumo reescrito. A apuração, o texto integral e os créditos são da fonte — abra o original para ler na íntegra.
Ler matéria original ↗Resumo gerado por IA a partir da matéria original e revisto pelo método descrito em como funciona a curadoria. Em caso de divergência, vale o texto da fonte. Achou um erro? Fale com a gente.