Application of Reinforcement Learning in the Development of Intelligent Agents for the Game of Othello

• Valentina Silva de Lacerda UFERSA
• Amanda Gondim de Oliveira UFERSA

DOI: https://doi.org/10.5753/eniac.2026.31407

Resumo

Este trabalho apresenta o desenvolvimento de um agente inteligente baseado em Aprendizado por Reforço Profundo para atuar no jogo Othello. O método proposto utiliza o algoritmo Double Deep Q-Network (DDQN), com mascaramento de ações inválidas e política de exploração com decaimento linear, visando aprender estratégias eficientes sem conhecimento prévio especializado. Os resultados experimentais indicam evolução do desempenho ao longo do treinamento, com o agente atingindo taxa de vitória de 94% contra um oponente estocástico. Conclui-se que, apesar das limitações impostas por um adversário aleatório e pelo fato de o treinamento ter sido realizado apenas com o agente iniciando com as peças pretas, o agente é capaz apresentar desempenho superior à política aleatória nas condições avaliadas.

Referências

Buro, M. (1997). The othello match of the year: Takeshi murakami vs. logistello. ICGA Journal, 20(3):189–193.

Buro, M. (2002). Improving heuristic mini-max search by supervised learning. Artificial Intelligence, 134(1-2):85–99.

Federação Brasileira de Othello ([2026]). Federação brasileira de othello.

Goodfellow, I., Bengio, Y., and Courville, A. (2016). Deep Learning. MIT Press.

Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., and Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540):529–533.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems (NeurIPS), volume 32.

Silver, D., Huang, A., tug, C. J. M., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, K., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., and Hassabis, D. (2016). Mastering the game of go with deep neural networks and tree search. Nature, 529(7587):484–489.

Sutton, R. S. and Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press, Cambridge, 2 edition.

Takizawa, H. (2023). Othello is solved. arXiv preprint arXiv:2310.19387.

Teymorian, M. (2023). Othello intelligent agent using double deep q-networks. Technical report, Yazd University.

van der Ree, M. and Wiering, M. (2013). Reinforcement learning in the game of othello: Learning against a fixed opponent and learning from self-play. In IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL), pages 108–115.

van Hasselt, H., Guez, A., and Silver, D. (2016). Deep reinforcement learning with double q-learning. In Proceedings of the AAAI Conference on Artificial Intelligence.

Zheng, Z. et al. (2021). Expert q-learning: Integrating state values from expert examples into deep q-learning. arXiv preprint arXiv:2106.14642.