Evaluation of recurrent neural network architectures to help motor disabled people through brain computer interface
Resumo
Este trabalho avalia diferentes arquiteturas de redes neurais recorrentes para realizar o controle de um objeto virtual construı́do a partir do Robot Operating System (ROS) utilizando eletroencefalograma para aquisição de sinal. Para as funções de controle da interface foram utilizadas ações motoras voluntárias das mãos, onde cada mão indicava uma direção. A arquitetura LSTM apresentou melhores resultados devido ao tamanho da sequência e o protocolo experimental permitiu compreender que existe uma fase de adaptação do indivı́duo ao melhorar o resultado após diferentes tentativas sem precisar do retreinamento da rede.
Palavras-chave:
Aplicação de Inteligencia Artificial, Aprendizado de Maquina, Robótica Inteligente
Referências
Alhagry, S., Fahmy, A. A., and El-Khoribi, R. A. (2017). Emotion recognition based on eeg using lstm recurrent neural network. International Journal of Advanced Computer Science and Applications, 8(10).
Armstrong, B. C., Ruiz-Blondet, M. V., Khalifian, N., Kurtz, K. J., Jin, Z., and Laszlo, S. (2015). Brainprint: Assessing the uniqueness, collectability, and permanence of a novel method for erp biometrics. Neurocomputing, 166:59 – 67.
Bishop, C. M. (2006). Pattern recognition and machine learning. springer.
Bonini-Rocha, A. C., Timm, M. I., Chiaramonte, M., Zaro, M., Rasia-Filho, A. A., Wolff, D., Ayres, E. d. P., and Petersen, R. D. d. S. (2008). Metodologia para observação e quantificação de sinais de eeg relativos a evidências cognitivas de aprendizagemtora. Ciências & Cognição, 13(2):27–50.
Brigham, E. O. and Brigham, E. O. (1988). The fast Fourier transform and its applications, volume 448. prentice Hall Englewood Cliffs, NJ.
Brocious, C. and Machulis, K. (2019). Emokit. OpenYou,[Online]. Available: http://www. openyou. org.
Choi, B. and Jo, S. (2013). A low-cost eeg system-based hybrid brain-computer interface for humanoid robot navigation and recognition. PloS one, 8(9):e74583.
Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555. de Souza, J. P. G., Krizan, J., de Melo Costa, G., and de Oliveira Fermoseli, A. F. (2015). Interface cérebro-máquina (icm): da transdução do estı́mulo externo em impulsvoso à tradução em comandos digitais. Caderno de Graduação - Ciências Biológicas e da Saúde - UNIT-ALAGOAS, 3(1):139–152.
Dey, R. and Salem, F. M. (2017). Gate-variants of gated recurrent unit (GRU) neural networks. CoRR, abs/1701.05923.
Emotiv (2019). Epoc+ 14 channel - emotiv. https://www.emotiv.com/ epoc-14-channel-eeg-2/. (Accessed on 05/12/2019).
França, C. R., Borges, J. A., and Sampaio, F. F. (2005). Tupi–recursos de acessibilidade para educação especial e inclusiva dos deficientes motores. In Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informação na Educação – SBIE), volume 1, pages 591–600.
Gonçalves, W. d. O. et al. (2017). Utilização dos sinais de eletroencefalograma e eledermal no aprendizado por reforço de uma interface cérebro-máquina.
Heidrich, R. d. O., Branco, M. A., Mossmann, J. B., Schuh, A. R., and Jensen, E. (2016). Jogos digitais para interação com brain computer interface para auxiliar no processo de inclusão escolar de pessoas com paralisia cerebral. Blucher Design Proceedings, 2(9):3397–3407.
Hochreiter, S. and Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9:1735–80.
Kingma, D. P. and Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
McCloskey, M. and Cohen, N. J. (1989). Catastrophic interference in connectionist networks: The sequential learning problem. volume 24 of Psychology of Learning and Motivation, pages 109 – 165. Academic Press.
Michielli, N., Acharya, U. R., and Molinari, F. (2019). Cascaded lstm recurrent neural network for automated sleep stage classification using single-channel eeg signals. Computers in Biology and Medicine, 106:71 – 81.
Paszke, A., Gross, S., Chintala, S., and Chanan, G. (2017). Pytorch. Computer software. Vers. 0.3, 1.
Quigley, M., Conley, K., Gerkey, B. P., Faust, J., Foote, T., Leibs, J., Wheeler, R., and Ng, A. Y. (2009). Ros: an open-source robot operating system. In ICRA Workshop on Open Source Software.
Roque, K., Cezar, P., et al. (2017). Controle de um protótipo de cadeira de rodas através de uma interface cérebro-computador.
ROS (2019). Turtlesim. http://wiki.ros.org/turtlesim. (Accessed on 05/12/2019).
Schalk, G., McFarland, D. J., Hinterberger, T., Birbaumer, N., and Wolpaw, J. R. (2004). Bci2000: a general-purpose brain-computer interface (bci) system. IEEE Transactions on biomedical engineering, 51(6):1034–1043.
Schuh, A. R., Lima, A., Heidrich, R. d. O., Mossmann, J., Flores, C., and Bez, M. R. (2013). Desenvolvimento de um simulador controlado por interface cérebrcomputador não-invasiva para treinamento na utilização de cadeira de rodas. RENOTE, 11(3).
Wu, C.-Y., Ahmed, A., Beutel, A., Smola, A. J., and Jing, H. (2017). Recurrent recommender networks. In Proceedings of the tenth ACM international conference on web search and data mining, pages 495–503. ACM.
Armstrong, B. C., Ruiz-Blondet, M. V., Khalifian, N., Kurtz, K. J., Jin, Z., and Laszlo, S. (2015). Brainprint: Assessing the uniqueness, collectability, and permanence of a novel method for erp biometrics. Neurocomputing, 166:59 – 67.
Bishop, C. M. (2006). Pattern recognition and machine learning. springer.
Bonini-Rocha, A. C., Timm, M. I., Chiaramonte, M., Zaro, M., Rasia-Filho, A. A., Wolff, D., Ayres, E. d. P., and Petersen, R. D. d. S. (2008). Metodologia para observação e quantificação de sinais de eeg relativos a evidências cognitivas de aprendizagemtora. Ciências & Cognição, 13(2):27–50.
Brigham, E. O. and Brigham, E. O. (1988). The fast Fourier transform and its applications, volume 448. prentice Hall Englewood Cliffs, NJ.
Brocious, C. and Machulis, K. (2019). Emokit. OpenYou,[Online]. Available: http://www. openyou. org.
Choi, B. and Jo, S. (2013). A low-cost eeg system-based hybrid brain-computer interface for humanoid robot navigation and recognition. PloS one, 8(9):e74583.
Chung, J., Gulcehre, C., Cho, K., and Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555. de Souza, J. P. G., Krizan, J., de Melo Costa, G., and de Oliveira Fermoseli, A. F. (2015). Interface cérebro-máquina (icm): da transdução do estı́mulo externo em impulsvoso à tradução em comandos digitais. Caderno de Graduação - Ciências Biológicas e da Saúde - UNIT-ALAGOAS, 3(1):139–152.
Dey, R. and Salem, F. M. (2017). Gate-variants of gated recurrent unit (GRU) neural networks. CoRR, abs/1701.05923.
Emotiv (2019). Epoc+ 14 channel - emotiv. https://www.emotiv.com/ epoc-14-channel-eeg-2/. (Accessed on 05/12/2019).
França, C. R., Borges, J. A., and Sampaio, F. F. (2005). Tupi–recursos de acessibilidade para educação especial e inclusiva dos deficientes motores. In Brazilian Symposium on Computers in Education (Simpósio Brasileiro de Informação na Educação – SBIE), volume 1, pages 591–600.
Gonçalves, W. d. O. et al. (2017). Utilização dos sinais de eletroencefalograma e eledermal no aprendizado por reforço de uma interface cérebro-máquina.
Heidrich, R. d. O., Branco, M. A., Mossmann, J. B., Schuh, A. R., and Jensen, E. (2016). Jogos digitais para interação com brain computer interface para auxiliar no processo de inclusão escolar de pessoas com paralisia cerebral. Blucher Design Proceedings, 2(9):3397–3407.
Hochreiter, S. and Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9:1735–80.
Kingma, D. P. and Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
McCloskey, M. and Cohen, N. J. (1989). Catastrophic interference in connectionist networks: The sequential learning problem. volume 24 of Psychology of Learning and Motivation, pages 109 – 165. Academic Press.
Michielli, N., Acharya, U. R., and Molinari, F. (2019). Cascaded lstm recurrent neural network for automated sleep stage classification using single-channel eeg signals. Computers in Biology and Medicine, 106:71 – 81.
Paszke, A., Gross, S., Chintala, S., and Chanan, G. (2017). Pytorch. Computer software. Vers. 0.3, 1.
Quigley, M., Conley, K., Gerkey, B. P., Faust, J., Foote, T., Leibs, J., Wheeler, R., and Ng, A. Y. (2009). Ros: an open-source robot operating system. In ICRA Workshop on Open Source Software.
Roque, K., Cezar, P., et al. (2017). Controle de um protótipo de cadeira de rodas através de uma interface cérebro-computador.
ROS (2019). Turtlesim. http://wiki.ros.org/turtlesim. (Accessed on 05/12/2019).
Schalk, G., McFarland, D. J., Hinterberger, T., Birbaumer, N., and Wolpaw, J. R. (2004). Bci2000: a general-purpose brain-computer interface (bci) system. IEEE Transactions on biomedical engineering, 51(6):1034–1043.
Schuh, A. R., Lima, A., Heidrich, R. d. O., Mossmann, J., Flores, C., and Bez, M. R. (2013). Desenvolvimento de um simulador controlado por interface cérebrcomputador não-invasiva para treinamento na utilização de cadeira de rodas. RENOTE, 11(3).
Wu, C.-Y., Ahmed, A., Beutel, A., Smola, A. J., and Jing, H. (2017). Recurrent recommender networks. In Proceedings of the tenth ACM international conference on web search and data mining, pages 495–503. ACM.
Publicado
15/10/2019
Como Citar
LEITE, Fabricio; DUTRA, Lucas; CARNEIRO, André; LOCHTER, Johannes.
Evaluation of recurrent neural network architectures to help motor disabled people through brain computer interface. In: ENCONTRO NACIONAL DE INTELIGÊNCIA ARTIFICIAL E COMPUTACIONAL (ENIAC), 16. , 2019, Salvador.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2019
.
p. 321-331.
ISSN 2763-9061.
DOI: https://doi.org/10.5753/eniac.2019.9294.
