CPU volta ao jogo na inferência de LLMs com agentes e tool calls

Por anos, GPUs dominaram a inferência de grandes modelos de linguagem, enquanto CPUs ficavam com tarefas de coordenação. Agora, a dinâmica está mudando: a Intel aponta que a razão CPU:GPU saiu de cerca de 1:8 no treinamento para algo próximo de 1:1, e em alguns cenários de agentes pode chegar a 4:1. O motivo é que a inferência deixou de ser “um prompt, uma resposta” e passou a incluir tool calls, raciocínio em múltiplas etapas e orquestração entre modelos menores.

Com agentes, o trabalho de lógica — como parsing, execução de código, chamadas a APIs, controle do loop e checagens de segurança — tende a pesar mais para a CPU, enquanto a GPU continua sendo a “força bruta” das matrizes do modelo. Para times que servem LLMs, isso pode alterar o dimensionamento de infraestrutura e o desenho do pipeline, reduzindo gargalos e melhorando custo/latência em produção.