Como usar LLMs para seleção e decisão: regras, IDs e riscos

Sistemas de seleção baseados em LLM estão sendo discutidos como uma forma de automatizar tarefas de procurement, como escolher o centro de custos responsável pelos custos. O fluxo tradicional com dados estruturados usava um dataset, treinamento e uma camada final de decisão; com LLMs, o desafio passa a ser transformar texto em IDs de banco de dados e integrar a saída do modelo aos sinais do sistema.

A apresentação também destaca limitações como janela de contexto restrita, risco de comportamento incorreto quando há histórico grande e necessidade de mitigar prompt injections, além de dificuldades de rastrear chamadas internas. Para reduzir variação, foi citado o uso de temperatura 0 e a criação de uma “regra 0” para remover randomness, enquanto o código e partes do material foram gerados com apoio de IA durante o desenvolvimento.