VisionHead: Mouse Alternative for Tetraplegic People Using Computer Vision
Abstract
This work develops a computer vision-based mouse control system using MediaPipe for real-time facial detection and PyAutoGUI to convert movements into cursor commands. The evaluation, based on Fitts’ Law, assessed efficiency and accuracy in target selection. Results showed a sensitivity of 75%, specificity of 67.78%, and precision of 60.81%, indicating improvements in click accuracy and error reduction, though further refinements are needed to minimize false negatives.
References
AI, G. (2025). Mediapipe face mesh solution map. ResearchGate. Accessed: 2025-03-07.
Barbosa, S. and Silva, B. (2010). Interação humano-computador. Elsevier Brasil.
Bergstrom, J. R. and Schall, A. (2014). Eye Tracking in User Experience Design. Elsevier.
Bersch, R. (2008). Introdução à tecnologia assistiva. Porto Alegre: CEDI, 21.
Brasil, C. (2024). Brasil tem mais de 17 milhões de pessoas com deficiência, segundo ibge. [link]. Acesso em: 16 dez. 2024.
de Sales, M. B. (2002). Desenvolvimento de um checklist para a avaliação de acessibilidade da web para usuários idosos. PhD thesis, Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós . . . .
Dusik, C. L. (2013). Teclado virtual silábico-alfabético: tecnologia assistiva para pessoas com deficiência física.
Fernandes, K. C. d. S. (2020). Tecnologia de rastreamento ocular como ferramenta auxiliar para avaliação audiológica básica de pessoas com múltiplas deficiências no sus.
Gomez, B. A. (2007). Sistema de controle por imagem para indivíduos tetraplégicos ou com lesões cerebrais. PhD thesis, Universidade de São Paulo.
Islam, R., Rahman, S., and Sarkar, A. (2021). Computer vision based eye gaze controlled virtual keyboard for people with quadriplegia. In 2021 International Conference on Automation, Control and Mechatronics for Industry 4.0 (ACMI), pages 1–6. IEEE.
Karn, A. (2021). Artificial intelligence in computer vision. International Journal of Engineering Applied Sciences and Technology, 6(1):249–254.
Karn, A., Mehta, R., Hiriyanna, G., Sayyed Johar, K., Chhabra, A., Ty, C., and Rajahrajasingh, H. (2024). Artificial intelligence in computer vision. SUSTAINABLE DEVELOPMENT THROUGH MACHINE LEARNING, AI AND IOT: Second, page 102.
Klann, D., da Rocha Fernandes, A. M., da Silva, E. A., and Parreira, W. D. (2024). Explorando algoritmos de visão computacional em tecnologias assistivas: uma revisão sistemática da literatura. Journal of Health Informatics, 16(Especial).
Kotzé, P., Eloff, M., Adesina-Ojo, A., and Eloff, J. (2004). Accessible computer interaction for people with disabilities the case of quadriplegics. In ICEIS 2004-Proceedings of the Sixth International Conference on Enterprise Information Systems.
Larson, H., Gips, J., Hall, F., and Stephanidis, C. (2003). A web browser for people with quadrip legia. In HCI (4), pages 226–230.
Lorenzo, S. M. and Silva, N. R. (2017). Contratação de pessoas com deficiência nas empresas na perspectiva dos profissionais de recursos humanos. Revista Brasileira de Educação Especial, 23:345–360.
Matoba, F., Pedrini, H., Técnico-IC-PFG, R., and de Graduação, P. F. (2022). Controle de mouse baseado em rastreamento ocular.
Melo, A. M. (2014). Acessibilidade e inclusão digital. Livro dos Tutoriais do XIII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais, pages 29–54.
Melo, D. (2025). Visionhead - controle de mouse com movimentos da cabeça e piscadas. [link]. Acesso em: 24 maio 2025.
Microsoft (2025). Accessibility - microsoft. [link]. Accessed: 2025-02-03.
Neves Filho, P. D. C., Feitosa, C. E. A., Barreto, J. S., and Silva, M. M. d. (2023). Auricheeks: Assistive technology to assist in desktopí s navigation. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems, pages 1–11.
Oliveira, F. V. et al. (2022). Avaliação de alternativas ao mouse utilizando técnicas da visão computacional.
Organization, W. H. (2024). Spinal cord injury - fact sheet. [link]. Acesso em: 16 dez. 2024.
Practical CV (2024). Facial landmarks detection with dlib. [link]. Acessado em: 04 nov. 2024.
Sampaio, G. S. (2018). Desenvolvimento de uma interface computacional natural para pessoas com deficiência motora baseada em visão computacional.
Silva, C. A. and Freire, A. P. (2018). Inspeção da acessibilidade de aplicativos móveis utilizando software leitor de telas. In Anais Estendidos do XVII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais. SBC.
Barbosa, S. and Silva, B. (2010). Interação humano-computador. Elsevier Brasil.
Bergstrom, J. R. and Schall, A. (2014). Eye Tracking in User Experience Design. Elsevier.
Bersch, R. (2008). Introdução à tecnologia assistiva. Porto Alegre: CEDI, 21.
Brasil, C. (2024). Brasil tem mais de 17 milhões de pessoas com deficiência, segundo ibge. [link]. Acesso em: 16 dez. 2024.
de Sales, M. B. (2002). Desenvolvimento de um checklist para a avaliação de acessibilidade da web para usuários idosos. PhD thesis, Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós . . . .
Dusik, C. L. (2013). Teclado virtual silábico-alfabético: tecnologia assistiva para pessoas com deficiência física.
Fernandes, K. C. d. S. (2020). Tecnologia de rastreamento ocular como ferramenta auxiliar para avaliação audiológica básica de pessoas com múltiplas deficiências no sus.
Gomez, B. A. (2007). Sistema de controle por imagem para indivíduos tetraplégicos ou com lesões cerebrais. PhD thesis, Universidade de São Paulo.
Islam, R., Rahman, S., and Sarkar, A. (2021). Computer vision based eye gaze controlled virtual keyboard for people with quadriplegia. In 2021 International Conference on Automation, Control and Mechatronics for Industry 4.0 (ACMI), pages 1–6. IEEE.
Karn, A. (2021). Artificial intelligence in computer vision. International Journal of Engineering Applied Sciences and Technology, 6(1):249–254.
Karn, A., Mehta, R., Hiriyanna, G., Sayyed Johar, K., Chhabra, A., Ty, C., and Rajahrajasingh, H. (2024). Artificial intelligence in computer vision. SUSTAINABLE DEVELOPMENT THROUGH MACHINE LEARNING, AI AND IOT: Second, page 102.
Klann, D., da Rocha Fernandes, A. M., da Silva, E. A., and Parreira, W. D. (2024). Explorando algoritmos de visão computacional em tecnologias assistivas: uma revisão sistemática da literatura. Journal of Health Informatics, 16(Especial).
Kotzé, P., Eloff, M., Adesina-Ojo, A., and Eloff, J. (2004). Accessible computer interaction for people with disabilities the case of quadriplegics. In ICEIS 2004-Proceedings of the Sixth International Conference on Enterprise Information Systems.
Larson, H., Gips, J., Hall, F., and Stephanidis, C. (2003). A web browser for people with quadrip legia. In HCI (4), pages 226–230.
Lorenzo, S. M. and Silva, N. R. (2017). Contratação de pessoas com deficiência nas empresas na perspectiva dos profissionais de recursos humanos. Revista Brasileira de Educação Especial, 23:345–360.
Matoba, F., Pedrini, H., Técnico-IC-PFG, R., and de Graduação, P. F. (2022). Controle de mouse baseado em rastreamento ocular.
Melo, A. M. (2014). Acessibilidade e inclusão digital. Livro dos Tutoriais do XIII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais, pages 29–54.
Melo, D. (2025). Visionhead - controle de mouse com movimentos da cabeça e piscadas. [link]. Acesso em: 24 maio 2025.
Microsoft (2025). Accessibility - microsoft. [link]. Accessed: 2025-02-03.
Neves Filho, P. D. C., Feitosa, C. E. A., Barreto, J. S., and Silva, M. M. d. (2023). Auricheeks: Assistive technology to assist in desktopí s navigation. In Proceedings of the XXII Brazilian Symposium on Human Factors in Computing Systems, pages 1–11.
Oliveira, F. V. et al. (2022). Avaliação de alternativas ao mouse utilizando técnicas da visão computacional.
Organization, W. H. (2024). Spinal cord injury - fact sheet. [link]. Acesso em: 16 dez. 2024.
Practical CV (2024). Facial landmarks detection with dlib. [link]. Acessado em: 04 nov. 2024.
Sampaio, G. S. (2018). Desenvolvimento de uma interface computacional natural para pessoas com deficiência motora baseada em visão computacional.
Silva, C. A. and Freire, A. P. (2018). Inspeção da acessibilidade de aplicativos móveis utilizando software leitor de telas. In Anais Estendidos do XVII Simpósio Brasileiro sobre Fatores Humanos em Sistemas Computacionais. SBC.
Published
2025-07-20
How to Cite
SANTOS, José David Melo dos; NEVES FILHO, Petrucio; NUNES, M. Simone Mendes; SILVA, Marcelo Martins da.
VisionHead: Mouse Alternative for Tetraplegic People Using Computer Vision. In: INTEGRATED SOFTWARE AND HARDWARE SEMINAR (SEMISH), 52. , 2025, Maceió/AL.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 549-560.
ISSN 2595-6205.
DOI: https://doi.org/10.5753/semish.2025.9253.
