Explicabilidade de modelos para Avaliação Automática de Redações

• Gabriel Menezes Moreira UFPI
• Raimundo Santos Moura UFPI

DOI: https://doi.org/10.5753/enucompi.2023.26624

Resumo

No contexto da Avaliação Automatizada de Redações (AAR), um dos principais pontos de aprendizado do aluno é receber o feedback de sua correção para entender onde e o que errou. Nesse sentido, este trabalho tem o objetivo de pesquisar métodos de interpretabilidade para modelos de AM, com foco na atividade de AAR no estilo do Exame Nacional do Ensino Médio (ENEM). Os resultados alcançados revelam que o LIME (Local Interpretable Model-Agnostic Explanations) evidencia termos cruciais e tendências que o modelo associa na tarefa de AAR. Essas particularidades desempenharam um papel fundamental na identificação dos pontos fortes e fracos dos modelos desenvolvidos.

Palavras-chave: LIME, AAR, LSTM, Explicabilidade, IA, AM

Referências

Attali, Y., & Burstein, J. (2006). Automated essay scoring with e-rater® V. 2. Disponível em: [link].

Breiman, L. (2001). Random forests. Machine learning, 45(1), 5-32. Disponível em: [link].

Doshi-Velez, F., & Kim, B. (2017). Towards a Rigorous Science of Interpretable Machine Learning. Disponível em: [link].

Kingma, D. P. and Ba, J. (2015). Adam: A method for stochastic optimization. Disponível em: [link].

Lipton, Z. C. (2018). The mythos of model interpretability. Disponível em: [link].

Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Disponível em: [link].

Marinho, J. C., Anchiêta, R. T., Moura, R. S. (2022) Essay-BR: a Brazilian Corpus to Automatic Essay Scoring Task. Disponível em: [link].

Marinho, Jeziel C.; Cordeiro, Fábio; Anchiêta, Rafael T.; Moura, Raimundo S. (2022) Automated Essay Scoring: An approach based on ENEM competencies. Disponível em: [link].

MEC. (2019). Cartilha do INEP. Acesso em 04-08-2023. Disponível em: [link].

Molnar, C., Casalicchio, G., & Bischl, B. (2021). Interpretable machine learning–a brief history, state-of-the-art and challenges. Disponível em: [link].

Murdoch, W. J., Singh, C., Kumbier, K., Abbasi-Asl, R., & Yu, B. (2019). Interpretable machine learning: definitions, methods, and applications. Disponível em: [link].

Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Disponível em: [link].

Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Disponível em: [link].