Nvidia lança Open Agent Safety Platform para conter agentes de IA

A Nvidia anunciou a Open Agent Safety Platform, solução que reúne softwares para impor limites à atuação de agentes de IA. O anúncio acontece após revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações, intensificando o debate sobre segurança em sistemas avançados.

Executivos da Nvidia disseram que a plataforma poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup Hugging Face. A empresa descreveu o uso do OpenShell, de código aberto, para verificar formalmente as permissões do agente, além do Sentry, que roda em um chip para monitorar continuamente e intervir caso o agente tente ultrapassar os limites definidos.