A casa que joga: Um estudo de caso sobre automação residencial em IoT, YOLO e Jogos
Resumo
Introdução: A convergência entre ecossistemas da Internet das Coisas (IoT) e jogos digitais possibilita experiências interativas diferentes. Contudo, a integração em tempo real entre estados do jogo e automação residencial permanece inexplorada. Objetivos: Este estudo objetiva propor e validar um modelo aplicável que integre YOLO e Home Assistant com jogos digitais, incrementando a experiência do jogador mediante feedback em sua residência vinculado a eventos no jogo. Metodologia: Adotou-se a metodologia de estudo de caso utilizando Genshin Impact como unidade-caso. O processo envolveu: (1) configuração do Home Assistant; (2) coleta e anotação de 1.313 capturas de tela do jogo para detecção de ícones; (3) treinamento do modelo YOLOv12n; (4) implementação da máquina de estados para mapeamento elemento-cor; e (5) avaliação das métricas de Qualidade de Experiência (QoE): latência do serviço, precisão visual e taxas de detecção falsa. Resultados: Os resultados indicam uma latência média do sistema de 566 ms, precisão visual de 82,8% para correspondências cor-correta/estado, e taxas de falso positivo/falso negativo de 18,35% e 1,85%, respectivamente.
Palavras-chave:
IoT, YOLO, Home Assistant, Jogos, Qualidade de experiência
Referências
Ahmed, I., Ahmad, M., Rodrigues, J. J., Jeon, G., e Din, S. (2021). A deep learning-based social distance monitoring framework for covid-19. Sustainable cities and society, 65:102571.
Asmara, R. A., Anugrah, M. R. S., Wibowo, D. W., Arai, K., Burhanuddin, M. A., Handayani, A. N., e Damayanti, F. A. (2024). Yolo-based object detection performance evaluation for automatic target aimbot in first-person shooter games. Bulletin of Electrical Engineering and Informatics, 13(4):2456–2470.
Battaiola, A. L. (2000). Jogos por computador–histórico, relevância tecnológica e mercadológica, tendências e técnicas de implementação. Anais do XIX Jornada de Atualização em Informática, pages 83–122.
Carneiro, N., Nunes, C., Raulino, N., Gomes, I., Andrade, R., e Darin, T. (2023). Iot games and gamified systems: Summertime sadness or lust for hype? In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems, pages 1– 12.
Denisova, A. e Cook, E. (2019). Power-ups in digital games: The rewarding effect of phantom game elements on player experience. In Proceedings of the Annual Symposium on Computer-Human Interaction in Play, CHI PLAY ’19, page 161–168, New York, NY, USA. Association for Computing Machinery.
dos Santos, M. R., de Castro Callado, A., e Laurindo, L. E. C. (2024). Enhancing internet of things conceptual, practical, and programming learning skills. In Workshop sobre Educação em Computação (WEI), pages 431–442. SBC.
Eladl, G. H. (2017). Technical requirements for the application of internet of things. International. Journal of Computer Science and Network, 6(4).
Farkas, T., Hughes, N. G. J., e Fiebrink, R. (2024). How boardgame players imagine interacting with technology. Proceedings of the ACM on Human-Computer Interaction, 8(CHI PLAY):1–24.
Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological cybernetics, 36(4):193–202.
Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems. "O’Reilly Media, Inc.".
Gil, A. C. et al. (2017). Como elaborar projetos de pesquisa, volume 4. Atlas São Paulo.
Hougaard, B. I. e Knoche, H. (2024). Aiming, pointing, steering: A core task analysis framework for gameplay. Proceedings of the ACM on Human-Computer Interaction, 8(CHI PLAY):1–48.
Huang, H. e Ng, K. (2021). Designing for cultural learning and reflection using iot serious game approach. Personal and Ubiquitous Computing, 25:509–524.
Jensn, J. (2018). lifelights: Video games blended with home automation. [link]. Acessado em: 26/04/2026.
Kostadimas, D., Kasapakis, V., e Kotis, K. (2025). A systematic review on the combination of vr, iot and ai technologies, and their integration in applications. Future Internet, 17(4).
Kurihara, K. et al. (2018). Gamecontrollerizer: Middleware to program inputs for augmenting digital games. arXiv preprint arXiv:1810.01070.
Lara, J. E., Reis, L. J., Tissot-Lara, T. A., e Silva, A. O. (2021). Admirável mundo novo na perspectiva da tríade: Internet das coisas, pessoas e mercados. Perspectivas em Ciência da Informação, 26(02):124–150.
Lawal, M. (2021). Tomato detection based on modified yolov3 framework, sci. rep., 1447.
Lemay, A. (2019). Kidney recognition in ct using yolov3. arXiv preprint arXiv:1910.01268.
Li, Y., Kaiser, L., Bengio, S., e Si, S. (2019). Area attention. In Proceedings of the 36th International Conference on Machine Learning, volume 97 of Proceedings of Machine Learning Research, pages 3846–3855. PMLR.
Lucchese, F. e Ribeiro, B. (2009). Conceituação de jogos digitais. São Paulo, 7.
Magrani, E. (2018). INTERNET DAS COISAS, A ED. 1. Editora FGV.
Mancini, M. (2017). Internet das coisas: História, conceitos, aplicações e desafios. Project Management Institute–PMI.
Mashal, I., Shuhaiber, A., e Al-Khatib, A. W. (2023). User acceptance and adoption of smart homes: A decade long systematic literature review. International Journal of Data and Network Science, 7(2):533.
Moksyakov, A., Wu, Y., Gadsden, S. A., Yawney, J., e AlShabi, M. (2024). Object detection and tracking with yolo and the sliding innovation filter. Sensors, 24(7).
Rau, P.-L. P. e Ji, Y. G. (2018). Games and hci. International Journal of Human–Computer Interaction, 34(8):681–681.
Redmon, J., Divvala, S., Girshick, R., e Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 779–788.
Santos, R. P. D. e Hounsell, M. D. S. (2023). Grand Research Challenges in Games and Entertainment Computing in Brazil–GranDGamesBR 2020–2030. Springer.
Saunders, K. e Novak, J. (2013). Game Development Essentials: Game interface design. Delmar, Cengage Learning.
SILVA, C. B. d. e COSTA, M. (2019). Prova de conceito (poc): o que é e como construir? Blog NectaCRM.
Tian, Y., Ye, Q., e Doermann, D. (2025). Yolov12: Attention-centric real-time object detectors. arXiv preprint arXiv:2502.12524.
Zha, M. e Zhang, Y. (2019). The Effects of Network Latency on Player Gaming Experience. PhD thesis, Worcester Polytechnic Institute.
Asmara, R. A., Anugrah, M. R. S., Wibowo, D. W., Arai, K., Burhanuddin, M. A., Handayani, A. N., e Damayanti, F. A. (2024). Yolo-based object detection performance evaluation for automatic target aimbot in first-person shooter games. Bulletin of Electrical Engineering and Informatics, 13(4):2456–2470.
Battaiola, A. L. (2000). Jogos por computador–histórico, relevância tecnológica e mercadológica, tendências e técnicas de implementação. Anais do XIX Jornada de Atualização em Informática, pages 83–122.
Carneiro, N., Nunes, C., Raulino, N., Gomes, I., Andrade, R., e Darin, T. (2023). Iot games and gamified systems: Summertime sadness or lust for hype? In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems, pages 1– 12.
Denisova, A. e Cook, E. (2019). Power-ups in digital games: The rewarding effect of phantom game elements on player experience. In Proceedings of the Annual Symposium on Computer-Human Interaction in Play, CHI PLAY ’19, page 161–168, New York, NY, USA. Association for Computing Machinery.
dos Santos, M. R., de Castro Callado, A., e Laurindo, L. E. C. (2024). Enhancing internet of things conceptual, practical, and programming learning skills. In Workshop sobre Educação em Computação (WEI), pages 431–442. SBC.
Eladl, G. H. (2017). Technical requirements for the application of internet of things. International. Journal of Computer Science and Network, 6(4).
Farkas, T., Hughes, N. G. J., e Fiebrink, R. (2024). How boardgame players imagine interacting with technology. Proceedings of the ACM on Human-Computer Interaction, 8(CHI PLAY):1–24.
Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological cybernetics, 36(4):193–202.
Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems. "O’Reilly Media, Inc.".
Gil, A. C. et al. (2017). Como elaborar projetos de pesquisa, volume 4. Atlas São Paulo.
Hougaard, B. I. e Knoche, H. (2024). Aiming, pointing, steering: A core task analysis framework for gameplay. Proceedings of the ACM on Human-Computer Interaction, 8(CHI PLAY):1–48.
Huang, H. e Ng, K. (2021). Designing for cultural learning and reflection using iot serious game approach. Personal and Ubiquitous Computing, 25:509–524.
Jensn, J. (2018). lifelights: Video games blended with home automation. [link]. Acessado em: 26/04/2026.
Kostadimas, D., Kasapakis, V., e Kotis, K. (2025). A systematic review on the combination of vr, iot and ai technologies, and their integration in applications. Future Internet, 17(4).
Kurihara, K. et al. (2018). Gamecontrollerizer: Middleware to program inputs for augmenting digital games. arXiv preprint arXiv:1810.01070.
Lara, J. E., Reis, L. J., Tissot-Lara, T. A., e Silva, A. O. (2021). Admirável mundo novo na perspectiva da tríade: Internet das coisas, pessoas e mercados. Perspectivas em Ciência da Informação, 26(02):124–150.
Lawal, M. (2021). Tomato detection based on modified yolov3 framework, sci. rep., 1447.
Lemay, A. (2019). Kidney recognition in ct using yolov3. arXiv preprint arXiv:1910.01268.
Li, Y., Kaiser, L., Bengio, S., e Si, S. (2019). Area attention. In Proceedings of the 36th International Conference on Machine Learning, volume 97 of Proceedings of Machine Learning Research, pages 3846–3855. PMLR.
Lucchese, F. e Ribeiro, B. (2009). Conceituação de jogos digitais. São Paulo, 7.
Magrani, E. (2018). INTERNET DAS COISAS, A ED. 1. Editora FGV.
Mancini, M. (2017). Internet das coisas: História, conceitos, aplicações e desafios. Project Management Institute–PMI.
Mashal, I., Shuhaiber, A., e Al-Khatib, A. W. (2023). User acceptance and adoption of smart homes: A decade long systematic literature review. International Journal of Data and Network Science, 7(2):533.
Moksyakov, A., Wu, Y., Gadsden, S. A., Yawney, J., e AlShabi, M. (2024). Object detection and tracking with yolo and the sliding innovation filter. Sensors, 24(7).
Rau, P.-L. P. e Ji, Y. G. (2018). Games and hci. International Journal of Human–Computer Interaction, 34(8):681–681.
Redmon, J., Divvala, S., Girshick, R., e Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 779–788.
Santos, R. P. D. e Hounsell, M. D. S. (2023). Grand Research Challenges in Games and Entertainment Computing in Brazil–GranDGamesBR 2020–2030. Springer.
Saunders, K. e Novak, J. (2013). Game Development Essentials: Game interface design. Delmar, Cengage Learning.
SILVA, C. B. d. e COSTA, M. (2019). Prova de conceito (poc): o que é e como construir? Blog NectaCRM.
Tian, Y., Ye, Q., e Doermann, D. (2025). Yolov12: Attention-centric real-time object detectors. arXiv preprint arXiv:2502.12524.
Zha, M. e Zhang, Y. (2019). The Effects of Network Latency on Player Gaming Experience. PhD thesis, Worcester Polytechnic Institute.
Publicado
29/09/2026
Como Citar
DAMASCENO, Francisco Álisson Véras; PIMENTEL, Juan David Bizerra; CALLADO, Arthur de Castro; JUCÁ, Paulyne Matthews.
A casa que joga: Um estudo de caso sobre automação residencial em IoT, YOLO e Jogos. In: SIMPÓSIO BRASILEIRO DE JOGOS E ENTRETENIMENTO DIGITAL (SBGAMES), 25. , 2026, Goiânia/GO.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2026
.
p. 245-257.
DOI: https://doi.org/10.5753/sbgames.2026.25563.
