Reinforcement Learning on Mobile Devices: Context-Aware Configuration Control

• Alcilene Batista UFAM
• Elian Souza UFAM
• Raimundo Barreto UFAM

DOI: https://doi.org/10.5753/eniac.2025.13983

Resumo

A configuração automática em dispositivos móveis enfrenta dificuldades para se adaptar às preferências reais dos usuários, frequentemente causando frustração com ajustes genéricos de brilho, volume e notificações. Este artigo propõe uma solução embarcada baseada em aprendizado por reforço, capaz de ajustar dinamicamente o brilho da tela e o volume de mídia de acordo com o contexto. O sistema coleta dados de sensores, como luz ambiente, localização e status de reunião, discretizando essas variáveis para alimentar um agente Q-Learning. As ações são refinadas por meio de feedback manual interpretado como reforço supervisionado. Para estados não vistos, as preferências são inferidas usando similaridade contextual. Todos os módulos operam offline, sem dependência de serviços em nuvem ou conectividade externa. Os resultados mostram que o agente aprendeu políticas coerentes com o comportamento do usuário, manteve estabilidade em contextos recorrentes, respondeu corretamente a novos cenários e reduziu a necessidade de intervenção manual. A arquitetura proposta demonstra a viabilidade de agentes autônomos embarcados, oferecendo personalização inteligente diretamente em dispositivos Android.

Referências

Abeywardhane, J., De Silva, E., Gallanga, I., Rathnayake, L., Wickramarathne, J., e Sriyaratna, D. (2018). Optimization of volume & brightness of android smartphone through clustering & reinforcement learning. In IC on Inform. and Autom. for Sustainability.

Ahmadi-Karvigh, H., Kermani, M., e Aghajan, H. (2019). Intelligent adaptive automation: A framework for an activity-driven and user-centered building automation. Journal of Ambient Intelligence and Smart Environments, 11(2):101–122.

Altulyan, M., Yao, L., Huang, C., Wang, X., e Kanhere, S. S. (2021). Context-induced activity monitoring for on-demand things-of-interest recommendation in an ambient intelligent environment. Sensors, 21(14):4707.

Bai, H., Zhou, Y., Cemri, M., Pan, J., Suhr, A., Levine, S., e Kumar, A. (2024). Digirl: Training in-the-wild device-control agents with autonomous reinforcement learning. arXiv preprint arXiv:2406.11896.

Du, H., Thudumu, S., Nguyen, H., Vasa, R., e Mouzakis, K. (2025). A comprehensive survey on context-aware multi-agent systems: Techniques, applications, challenges and future directions. arXiv preprint arXiv:2402.01968.

Kaladevi, A. C., Kumar, V. V., Mahesh, T. R., e Guluwadi, S. (2024). Optimizing personalized and context-aware recommendations in pervasive computing environments. Int. Journal of Computational Intelligence Systems, 17(1):300.

Lin, J., Sun, G., Shen, J., Cui, T., Yu, P., Xu, D., e Li, L. (2019). A survey of segmentation, annotation, and recommendation techniques in micro learning for next generation of oer. In Int. Conf. Computer Suppor. Cooper. Work in Design, pages 152–157.

Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.

Sarker, I. H. (2019). Context-aware rule learning from smartphone data: survey, challenges and future directions. Journal of Big Data, 6(95).

Sarker, I. H., Colman, A., Han, J., Khan, A. I., Abushark, Y. B., e Salah, K. (2020). Behavdt: A behavioral decision tree learning to build user-centric context-aware predictive model. Mobile Networks and Applications.

Souza, E., Monteiro, E., Barreto, R., e deFreitas, R. (2022). A context-aware automatic smartphone reconfiguration. In ICCE, pages 1–7, Las Vegas, NV, USA. IEEE.

Sutton, R. S. e Barto, A. G. (2018). Reinforcement Learning: An Introduction. MIT Press.

Todi, K., Bailly, G., Leiva, L. A., e Oulasvirta, A. (2021). Adapting user interfaces with model-based reinforcement learning. arXiv preprint arXiv:2103.06807.

Tokic, M. (2010). Adaptive -greedy exploration in reinforcement learning based on value differences. KI-Künstliche Intelligenz, 26(2):159–168.

Wang, D., Zhang, X., Yu, D., Xu, G., e Deng, S. (2021). Came: Content-and context-aware music embedding for recommendation. IEEE Transactions on Neural Networks and Learning Systems, 32(3):1375–1388.

Yamasaki, K. et al. (2023). Cluster-aware bayesian optimization for preference inference under cold start. ACM Trans. on Interactive Intelligent Systems (TiiS), 13(2):1–23.