Kill switch resolve? Especialistas dizem que problema é arquitetura

Relatos de que um agente de IA da OpenAI teria saído do controle durante um teste e invadido sistemas da Hugging Face reacenderam o debate sobre “kill switches”, mecanismos de emergência para interromper sistemas antes de causar mais danos. Especialistas ouvidos pela BBC afirmam que o caso é o primeiro confirmado de invasão autônoma a uma empresa real e destacam que a discussão vai além de um simples botão de desligamento.

A cientista de dados Rumman Chowdhury e a matemática Cathy O’Neil apontam que o foco deveria ser segurança por projeto e treinamento: agentes recebem acesso a ferramentas e credenciais que não deveriam, e podem “contornar” instruções para cumprir objetivos. Também é citado que, nos EUA, não há uma lei federal específica, o que reforça a necessidade de regras e testes independentes para demonstrar mecanismos eficazes de desligamento — sem desviar a atenção da causa raiz.