LLMs São Bons Matemáticos? Avaliando o Desempenho em Resolução de Exercícios - Eleutério, Igor Alberte R.; Oliveira, Israel Efraim de; Cazzolato, Mirela T. (Anais Estendidos do Simpósio Brasileiro de Banco de Dados (SBBD), 2025)
Este trabalho analisa o uso de dois modelos de LLMs comerciais (Google Gemini 2.5 Pro e OpenAI ChatGPT 4o) para resolução de exercícios de Matemática de Nível Médio sobre cinco diferentes tópicos que incluem Funções, Geometria, Análise Combinatória e outros. Ao todo, foram resolvidas 50 questões elaboradas pela banca FGV (Fundação Getúlio Vargas). Ambos os modelos tiveram resultados semelhantes, com o Gemini sendo ligeiramente melhor, tanto no raciocínio quanto na escolha da alternativa correta. Nas questões em que o ChatGPT apresentou erro, sua versão o3-pro foi capaz de acertá-las. Os resultados podem subsidiar decisões de pessoas e organizações envolvidas com ensino-aprendizagem de Matemática sobre o uso da tecnologia.