llama.cpp ganha execução local com llama serve e plugin pi-llama

O llama.cpp passa a oferecer uma forma de rodar “frontier AI” diretamente na máquina do usuário, com foco em privacidade e execução local. O fluxo destacado inclui usar o comando “llama serve”, instalar o plugin “pi-llama” e iniciar o Pi para que ele descubra automaticamente os modelos locais, sem necessidade de chaves de API e sem telemetria.

A proposta também inclui compatibilidade com diferentes hardwares, do laptop a clusters, usando o mesmo binário e modelos. Entre os modelos citados para execução estão Qwen 3.6, Gemma 4, GPT-OSS, Gemma 3, além de suporte a raciocínio multimodal, agentic workflows e idiomas em escala, como 140+ línguas.