AWS lança aws-bench para avaliar agentes em tarefas reais na nuvem

A AWS lançou o aws-bench, um benchmark open-source para avaliar com que precisão agentes de IA concluem tarefas reais no AWS, como diagnosticar configurações incorretas, provisionar infraestrutura e operar ambientes de nuvem em produção. Cada cenário roda em contas AWS isoladas, com recursos definidos em stacks do AWS CDK, enquanto o agente executa a tarefa em um container com credenciais com escopo.

Os resultados são verificados por um verificador automatizado, que pode usar um “LLM judge” ou checagens programáticas contra o estado ao vivo do AWS. O projeto inclui datasets com tarefas de observabilidade, compute e dados, bancos de dados e armazenamento, além de cenários como EC2 multi-região, serverless, streaming e IoT, e foi construído sobre o Harbor para adicionar provisionamento, cenários e verificação; o lançamento não traz métricas nem baseline público, e o benchmark está no GitHub sob licença Apache-2.0.