Modelos de IA erram testes de puzzles; estudo aponta fraquezas em visão e regras

Puzzles e jogos viraram um “campo de prova” para medir o avanço de modelos de IA, mas eles também revelam onde a tecnologia ainda tropeça. Pesquisadores da Columbia University mostraram que, no fim de 2024, até os modelos mais avançados acertavam apenas 18% dos desafios do New York Times Connections; no início de 2025, alguns passaram a resolver quase sempre.

Mesmo com a melhora, mudanças sutis em enigmas clássicos continuam derrubando modelos, e puzzles visuais aparecem como um ponto fraco. A análise destaca falhas em raciocínio espacial e rotação mental, além de problemas em testes que podem explorar excesso de memorização e regras pouco generalizáveis, como Knights and Knaves e ARC-AGI.