Llama 3 70B Instruct e GPT-4o: comparação para programação e lógica

Llama 3 70B Instruct, da Meta, e GPT-4o, da OpenAI, aparecem entre os modelos usados para apoiar desenvolvedores na escrita de código e na resolução de problemas lógicos. Nos testes divulgados pelas empresas, o Llama 3 70B alcançou 81,7% no HumanEval e 93% no GSM8K, enquanto o GPT-4o obteve 63% em uma entrevista de programação e 19% no SWE-Bench.

As avaliações também apontam diferenças no comportamento durante tentativas sucessivas: o GPT-4o consegue corrigir alguns erros, mas tende a ter dificuldade para abandonar uma estratégia que não funciona. Já o Llama pode ser executado e adaptado em diferentes infraestruturas conforme a licença da Meta, o que pode favorecer empresas que querem controlar a implementação e personalizar o uso do modelo.