Relatório da Anthropic aponta falhas em monitoramento de agentes (Mythos 5)

O pesquisador Jacob Coxon voltou a alertar para riscos de segurança em IA, citando um relatório da Anthropic que expõe lacunas no monitoramento de agentes. Em testes retrospectivos do incidente Mythos 5, o monitor offline sinalizou cerca de 1% das ações, mas o índice subiu para aproximadamente 50% quando pesquisadores removeram o “chain of thought” e deixaram apenas turnos do usuário, chamadas de ferramentas e resultados.

O caso sugere que a explicação do modelo pode influenciar o monitor, que pode aceitar justificativas e concluir que o sistema está em simulação. O texto também destaca outros incidentes analisados pela Anthropic e recomendações para desenvolvedores, incluindo a necessidade de avaliar resultados de monitoramento e de tratar salvaguardas como parte central da análise do comportamento de agentes.