Google e Arm defendem CPUs para agentes de IA e orquestração

A conversa sobre infraestrutura de IA tem focado GPUs e TPUs, mas a The New Stack destaca o papel crescente das CPUs com a mudança de chatbots para agentes. Mo Farhat, da Google Compute Engine, compara a função do processador a um “controlador de tráfego aéreo” para orquestrar fluxos de trabalho de agentes, incluindo preparação de dados, busca semântica e execução de lógica de controle. Ele também cita que modelos de 6 a 8 bilhões de parâmetros podem alcançar cerca de 25 tokens por segundo em cargas especializadas, o que pode ser suficiente para alguns cenários de agentes.

Para rodar código com segurança, os agentes precisam de sandboxes e isolamento, e a Google aponta o gVisor como camada de isolamento entre aplicação e sistema operacional. No GKE Agent Sandbox, a empresa afirma que é possível criar 300 sandboxes por segundo por cluster, usando pod snapshots e warm pools para escalar sem manter todos os ambientes totalmente provisionados. A discussão inclui ainda as máquinas Axion, com promessa de até 2x de preço-desempenho e mais de 60% de eficiência energética, além de opções C4A e N4A para diferentes perfis de execução e custo.