Evaluation of LLMs for Effective Recommendation of Poker Strategies

• Lucas de Oliveira Diniz UFU
• Murillo Guimarães Carneiro UFU

DOI: https://doi.org/10.5753/eniac.2025.12461

Resumo

Este trabalho avalia LLMs na recomendação de ações no pré-flop do pôquer NLHE 6-max. Usamos 1000 mãos rotuladas por estratégias GTO para testar os modelos abertos LLaMA 3.2-3B e Qwen 3-4B em modo zero-shot. Ambos alcançaram 67,7% de acurácia sem fine-tuning, revelando que LLMs generalistas já capturam padrões táticos relevantes. Os resultados destacam seu potencial como ferramentas assistivas. Como trabalhos futuros, propõe-se avaliar fases pós-flop, aplicar fine-tuning supervisionado e explorar usos didáticos interativos.

Referências

Bowling, M., Burch, N., Johanson, M., and Tammelin, O. (2015). Heads-up limit hold’em poker is solved. Science, 347(6218):145–149.

Brown, N. and Sandholm, T. (2017). Libratus: The superhuman ai for no-limit poker. In Sierra, C., editor, Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI). International Joint Conferences on Artificial Intelligence Organization.

Diniz, L. d. O. (2022). Estudo do jogo de pôquer utilizando métodos estatísticos e aprendizado de máquina. Trabalho de conclusão de curso, Universidade Federal de Uberlândia. Acessado em julho de 2025.

Gupta, A. (2023). Are chatgpt and gpt-4 good poker players? – a pre-flop analysis. arXiv preprint arXiv:2308.12466.

Huang, C., Cao, Y., Wen, Y., Zhou, T., and Zhang, Y. (2024). Pokergpt: An end-to-end lightweight solver for multi-player texas hold’em via large language model. In Proceedings of the 38th AAAI Conference on Artificial Intelligence. Association for the Advancement of Artificial Intelligence.

IMSA (2010). Pôquer é reconhecido como esporte mental e fica com mesmo status do xadrez. [link]. Acesso em: 2 jun. 2025.

MIT (2020). Poker theory and analytics. [link]. Acessado em maio de 2025.

Osborne, M. J. and Rubinstein, A. (1994). A Course in Game Theory. MIT Press.

Silver, D., Huang, A., Maddison, C. J., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., and Hassabis, D. (2016). Mastering the game of go with deep neural networks and tree search. Nature, 529(7587):484–489.

UNICAMP (2023). Tópicos em jogos de estratégia - pôquer. [link]. Acessado em maio de 2025.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Łukasz Kaiser, and Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), volume 30. Curran Associates, Inc.

Yang, H., Liu, X.-Y., and Wang, C. D. (2023). Fingpt: Open-source financial large language models. arXiv preprint arXiv:2306.06031.

Yin, Y., Yang, Y., Yang, J., and Liu, Q. (2023). Finpt: Financial risk prediction with profile tuning on pretrained foundation models. arXiv preprint arXiv:2308.00065.

Zhang, Y., Han, X., Li, H., Chen, K., and Lin, S. (2025). Complete chess games enable LLM become a chess master. In Chiruzzo, L., Ritter, A., and Wang, L., editors, Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 2: Short Papers), pages 1–7, Albuquerque, New Mexico. Association for Computational Linguistics.

Zhuang, R., Gupta, A., Yang, R., Rahane, A., Li, Z., and Anumanchipalli, G. (2025). Pokerbench: Training large language models to become professional poker players. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 39, pages 26175–26182.