Elastic discute framework reutilizável para avaliar agentes de IA
A Elastic está construindo e operando agentes de IA sobre sua base de dados no Elasticsearch, incluindo ferramentas para descoberta de ataques e chatbots corporativos. Em apresentações, a principal data scientist Susan Chang detalha como a empresa usa tracing para acompanhar dados e respostas, além de criar avaliações para estimar a qualidade e evitar regressões ao mudar os agentes.
Para isso, cada equipe monta seus próprios conjuntos de dados e avaliadores, mas a Elastic busca consolidar tudo em um framework compartilhado. No caso de segurança, a empresa cita métricas como precision e recall para alert IDs, além de scores de similaridade e factualidade ligados a taxonomias como MITRE; já nos chatbots, entram métricas como relevância e completude das respostas, com cenários de consulta e recuperação.
InfoQ
O texto acima é um resumo reescrito. A apuração, o texto integral e os créditos são da fonte — abra o original para ler na íntegra.
Ler matéria original ↗Resumo gerado por IA a partir da matéria original e revisto pelo método descrito em como funciona a curadoria. Em caso de divergência, vale o texto da fonte. Achou um erro? Fale com a gente.