Classificação do estado de atenção do estudante: detectando a mensuração cerebral e as expressões faciais

• Andreia Solange Bos UFRGS- Universidade Federal Rio Grande do Sul https://orcid.org/0000-0001-6485-0002
• Milton Antônio Zaro Universidade Federal do Rio Grande do Sul https://orcid.org/0000-0002-0459-8981
• Michelle Câmara Pizzato IFRS (Instituto Federal do Rio Grande do Sul) https://orcid.org/0000-0002-3394-1179

DOI: https://doi.org/10.5753/cbie.wie.2020.469

Resumo

Este artigo destaca a análise de reações capturadas pelo sistema de um conjunto de dados emocionais e a análise das atividades cerebrais. O experimento foi conduzido com uma amostra de dez estudantes universitários. Cada aluno recebeu dois vídeos com duração de cinco minutos com imagens aleatórias de diferentes emoções (vídeo educacional e vídeo publicitário). As reações foram registradas pelo sistema FER e pelo sensor Emotiv de EEG (Eletroencefalograma). Os resultados do experimento mostraram diferentes atividades cerebrais coletadas pelo sensor e no sistema de análise de expressões faciais. O sistema classifica as emoções e expressões faciais durante a atividade de apreciação dos vídeos.

Palavras-chave: emoções, expressão facial, atividade cerebral

Referências

ASLAN, SINEM, et al. "Learner engagement measurement and classification in 1: 1 learning." 2014 13th International Conference on Machine Learning and Applications. IEEE, 2014.

BARRETT, LISA FELDMAN, et al. "Emotional expressions reconsidered: challenges to inferring emotion from human facial movements." Psychological Science in the Public Interest 20.1 (2019): 1-68.

BOS, A.S; PIZZATO, M. C; ZARO, M.A. Experimento de medição do nível de Atenção do Estudante: o uso da Mídia Interativa como Estímulo Resposta. RENOTE-Revista Novas Tecnologias na Educação, v. 17, n. 3, 2019a.

BOS, A. S., HERPICH, F., KUHN, I., GUARESE, R. L. M., TAROUCO, L. M. R., ZARO, M. A., WIVES, L. (2019b). Educational Technology and Its Contributions in Students’ Focus and Attention Regarding Augmented Reality Environments and the Use of Sensors. Journal of Educational Computing Research. vol.57, n.7 https://doi.org/10.1177/0735633119854033

BOS, A. S.; PIZZATO, M.; ZARO, M.A. "REVISÃO DA TECNOLOGIA INTERFACE CÉREBRO COMPUTADOR: UMA PERSPECTIVA EDUCACIONAL". Redin-Revista Educacional Interdisciplinar, v. 8, n. 1, 2019c.

BOS, Andreia S. et al. Student’s attention: The use of Brain Waves Sensors in Interactive Videos. International Journal of Advanced Engineering Research and Science, v. 6, n. 4, 2019d.

BOS, A.S.; ZARO, M. A; PIZZATO, M. "Investigação da Atenção do Estudante com técnicas de EEG: o uso da Realidade Virtual no Ensino". In: Anais dos Workshops do Congresso Brasileiro de Informática na Educação. 2019e. p. 1397.
BOS, A.S; PIZZATO, M.; ZARO, M.A; Investigação da atenção do estudante: o uso da realidade virtual no ensino de computação. Tear: Revista de Educação, Ciência e Tecnologia, vol 8, n. 2, Dez, 2019f. Disponível em: https://periodicos.ifrs.edu.br/index.php/tear/index

BOS A.S., VETTORI, M., PIZZATO, M., ZARO, M.A. (2020) h. "Recognition of facial expressions: active emotions during the use of audiovisuals", International Journal of Development Research, 10, (08), 39779-39783.

CÎMPANU, C. et al. A Comparative Study on Classification of Working Memory Tasks Using EEG Signals. 2017 21st International Conference on Control Systems and Computer Science (CSCS), Bucharest, 2017, pp. 245-251.

COAN J. A. AND J. J. ALLEN, "Frontal EEG asymmetry as a moderator and mediator of emotion," Biological psychology, vol. 67, no. 1, pp. 7-50, 2004.

COSTAFREDA S.G., M. J. BRAMMER, A. S. DAVID, AND C. H. FU, "Predictors of amygdala activation during the processing of emotional stimuli: a meta-analysis of 385 PET and fMRI studies," Brain research reviews, vol. 58, no. 1, pp. 57-70, 2008. EKMAN P., SORENSON E.R., FRIESEN W. V pan-cultural elements in facial displays of emotion. Science. 1969; 164:86–88. doi: 10.1126/science.164.3875.86.
EKMAN, P. (1993) Facial expression and emotion. American Psychologist 48(4): 384–392. EMOTIV EPOC specifications, Emotiv, 2020. Emotiv Software Development Kit User Manual for Release.

FERREIRA, Valter A. et al. Operatoriedade cognitiva e experimentação virtual imersiva de Eletricidade. RENOTE-Revista Novas Tecnologias na Educação, v. 17, n. 1, p. 375-384, 2019.

HOLTGRAVES T. AND A. FELTON, "Hemispheric asymmetry in the processing of negative and positive words: A divided field study," Cognition and Emotion, vol. 25, no. 4, pp. 691- 699, 2011.
IZQUIERDO I., C.R.G. FURINI, J.C. Myskiw Fear memory Physiological Reviews, 96 (2) (2016), pp. 695-750, 10.1152/physrev.00018.2015

J. KUMAR, "Affective modeling of users in HCI using EEG," Procedia Computer Science,vol. 84, pp. 107-114, 2016

KAHOU S.E., C. PAL, X. BOUTHILLIER, P. FROUMENTY, Ç. GÜLÇEHRE, R. MEMISEVIC, P. VINCENT, A. COURVILLE, Y. Bengio, R. C. Ferrari, et al. Combining modality specific deep neural networks for emotion recognition in video. In Proceedings of the 15th ACM on International conference on multimodal interaction, pages 543–550. ACM, 2013.
LENT, R. (2015) Neuroplasticidade. In: LENT, Roberto (Org.). Neurociência da Mente e do comportamento. Rio de Janeiro: Guanabara Koogan. p. 241-252.

LIU Y, O. Sourina, and M. K. Nguyen, "Real-time EEG-based human emotion recognition and visualization," in Cyberworlds (CW), 2010 International Conference on, 2010, pp. 262-269: IEEE

LIU P., S. HAN, Z. MENG, AND Y. TONG. Facial expression recognition via a boosted deep belief network. In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 1805–1812. IEEE, 2014.
MAYER R. (2008). Applying the science of learning: Evidence-based principles for the design of multimedia instruction. Cognition and Instruction 19, 177-213. POSNER MI, PETERSEN SE. The Attention System of the Human Brain. Annual Review of Neuroscience. 1990;13(1):25–42. pmid:2183676.
SONGA G., SLABBINCK H., VERMEER I. How do implicit/explicit attitudes and emotional reactions to a sustainable logo relate? A neurophysiological study. Food Qual. Prefer. 2019; 71:485–496. doi: 10.1016/j.foodqual.2018.04.008

TANG Y. Deep learning using linear support vector machines. arXiv preprint arXiv:1306.0239, 2013
TOKUHAMA-ESPINOSA, T. N. (2008). The scientifically substantiated art of teaching: A study in the development of standards in the new academic field of neuroeducation (mind, brain, and education science). Capella University, MN, USA.