Um modelo para avaliação automática de respostas textuais com uso de regras linguísticas
Resumo
Este artigo descreve um Modelo de Reconhecimento de Vinculação Textual, cujo objetivo é superar problemas conhecidos em outros trabalhos. Para isso é apresentada uma nova abordagem através do uso combinado da análise sintática, morfológica, de regras linguísticas, detecção da flexão de voz, tratamento de negação e do uso de sinônimos. O uso destes recursos foi avaliado com a construção de diferentes técnicas que permitem validar e comparar seus resultados em um ambiente integrado. Os resultados apresentados até o momento são promissores, permitindo a identificação da vinculação textual de diferentes amostras textuais com precisão média de 92,12%.
Palavras-chave:
Avaliação automática, respostas textuais, regras linguísticas
Referências
ANDROUTSOPOULOS, I.; MALAKASIOTIS, P. A survey of paraphrasing and textual entailment methods. Journal of Artificial Intelligence Research, v. 38, p. 135–187, 2009.
ÁVILA, R. L. F.; SOARES, J. M. Uso de técnicas de pré-processamento textual e algoritmos de comparação como suporte à correção de questões dissertativas: experimentos, análises e contribuições. In Simpósio Brasileiro de Informática na Educação, 2013.
BAKER, R.; ISOTANI, S.; CARVALHO, A. Mineração de Dados Educacionais: oportunidades para o brasil. Revista Brasileira de Informática na Educação, 19(02). P. 15-35, 2011.
BICK, E. The parsing system Palavras.Tese de Doutorado, Universidade de Aarhus, 2000.
CHEN, L.; LIU, Y.; Automated Scoring System Using Dependency-Based Weighted Semantic Similarity Model. 2009 Second International Symposium on Knowledge Acquisition and Modeling, v. 1, p. 241–244, 2009.
CHUONG, B. Do et al. Daphne; Self-Driven Mastery in Massive Open Online Courses. MOOCs FORUM. September 2013, 1(P): 14-16. DOI: 10.1089/mooc.2013.0003, 2013.
DAGAN, I. et al. Recognizing Textual Entailment – Models and Applications. Synthesis Lectures on Human Language Technologies, Toronto. Morgan & Claypool Publishers. 2013
FABRÍCIO, B. T. A.; BEHAR, P. A.; REATEGUI, E. B. Análise das mensagens de fóruns de discussão através de um software para mineração de textos SBIE. n. 2004, p. 20–29, 2011.
GEORGE A. M. et al. Introduction to WordNet: An On-line Lexical Database. MIT Press, 1993.
HERRERA, J.; PENAS, A.; VERDEJO, F. Textual Entailment Recognision Based on Dependency Analysis and WordNet. Machine Learning Challenges. Lecture Notes in Computer Science Volume 3944, pp 231-239, 2006.
JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.
KIM, J. et al. An Intelligent Discussion-Bot for Guiding Student Interactions in Threaded Discussions. Proceedings of the AAAI 2007.
LAMJIRI, A. K.; KOSSEIM, L.; RADHAKRISHNAN, T. Comparing the Contribution of Syntactic and Semantic Features in Closed versus Open Domain Question Answering. International Conference on Semantic Computing ICSC 2007, p. 679–685, 2007.
LIN, F.; HSIEH, L.; CHUANG, F. Discovering genres of online discussion threads via text mining. Computers & Education, v. 52, n. 2, p. 481–495, 2009.
LITKOWSKI, K. Overlap analysis in textual entailment. recognition. In Proc. of TAC, 2009.
LIU, P.; ZHAO, T.; YU, X. Application-Oriented Comparison and Evaluation of Six Semantic Similarity Measures Based on Wordnet. 2006 International Conference on Machine Learning and Cybernetics, p. 2605–2610, 2006.
MAJUMDAR, D.; BHATTACHARYYA, P. Lexical Based Text Entailment System for Sum-marization Settings of RTE6.Proceedings of the Text Analysis Conference (TAC 2010) November 15, 2010.
MONTALVO-HUHN, O.; TAYLOR, S. Textual Entailment – Fitchburg State College. In Pro-ceedings of TAC08, Fourth PASCAL Challenges Workshop on Recognising Textual Entail-ment, 2008.
OLIVEIRA, M. G. de; OLIVEIRA, E. e MARCHESI, R. Z. Um QAsystem para Interação de Alunos em Avaliações Somativas a Distância. In Simpósio Brasileiro de Informática na Educação, 2009.
RIGO, S. J. et al. O papel do Processamento de Língua Natural e da Representação de Conhecimento na extração de informações em mensagens textuais na Educação a Distância. In Simpósio Brasileiro de Informática na Educação, 2013.
RIOS, M.; GELBUKH, A. Recognizing Textual Entailment with a Semantic Edit Distance Metric. 11th Mexican International Conference on Artificial Inteligence. 2012.
SHARIATMADARI, S.; MAMAT, A. Discovering semantic similarity association in semantic search system. Proceedings of the 11th WAS, p. 331, 2009.
TSUCHIDA, M.; ISHIKAWA, K. IKOMA at TAC2011: A Method for Recognizing Tex-tual Entailment using Lexical-level and Sentence Structure-level features. In TAC 2011.
VARMA, V. et al. IIIT Hyderabad at TAC 2009. Maryland USA, 2009.
ZHANG, S.; et al. "Recognizing Textual Entailment with synthetic analysis based on SVM and feature value control,". Intelligent Computer Communication and Processing (ICCP), 2012 IEEE vol., no., pp.91,94, Aug. 30 2012-Sept. 1, 2012.
ÁVILA, R. L. F.; SOARES, J. M. Uso de técnicas de pré-processamento textual e algoritmos de comparação como suporte à correção de questões dissertativas: experimentos, análises e contribuições. In Simpósio Brasileiro de Informática na Educação, 2013.
BAKER, R.; ISOTANI, S.; CARVALHO, A. Mineração de Dados Educacionais: oportunidades para o brasil. Revista Brasileira de Informática na Educação, 19(02). P. 15-35, 2011.
BICK, E. The parsing system Palavras.Tese de Doutorado, Universidade de Aarhus, 2000.
CHEN, L.; LIU, Y.; Automated Scoring System Using Dependency-Based Weighted Semantic Similarity Model. 2009 Second International Symposium on Knowledge Acquisition and Modeling, v. 1, p. 241–244, 2009.
CHUONG, B. Do et al. Daphne; Self-Driven Mastery in Massive Open Online Courses. MOOCs FORUM. September 2013, 1(P): 14-16. DOI: 10.1089/mooc.2013.0003, 2013.
DAGAN, I. et al. Recognizing Textual Entailment – Models and Applications. Synthesis Lectures on Human Language Technologies, Toronto. Morgan & Claypool Publishers. 2013
FABRÍCIO, B. T. A.; BEHAR, P. A.; REATEGUI, E. B. Análise das mensagens de fóruns de discussão através de um software para mineração de textos SBIE. n. 2004, p. 20–29, 2011.
GEORGE A. M. et al. Introduction to WordNet: An On-line Lexical Database. MIT Press, 1993.
HERRERA, J.; PENAS, A.; VERDEJO, F. Textual Entailment Recognision Based on Dependency Analysis and WordNet. Machine Learning Challenges. Lecture Notes in Computer Science Volume 3944, pp 231-239, 2006.
JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.
KIM, J. et al. An Intelligent Discussion-Bot for Guiding Student Interactions in Threaded Discussions. Proceedings of the AAAI 2007.
LAMJIRI, A. K.; KOSSEIM, L.; RADHAKRISHNAN, T. Comparing the Contribution of Syntactic and Semantic Features in Closed versus Open Domain Question Answering. International Conference on Semantic Computing ICSC 2007, p. 679–685, 2007.
LIN, F.; HSIEH, L.; CHUANG, F. Discovering genres of online discussion threads via text mining. Computers & Education, v. 52, n. 2, p. 481–495, 2009.
LITKOWSKI, K. Overlap analysis in textual entailment. recognition. In Proc. of TAC, 2009.
LIU, P.; ZHAO, T.; YU, X. Application-Oriented Comparison and Evaluation of Six Semantic Similarity Measures Based on Wordnet. 2006 International Conference on Machine Learning and Cybernetics, p. 2605–2610, 2006.
MAJUMDAR, D.; BHATTACHARYYA, P. Lexical Based Text Entailment System for Sum-marization Settings of RTE6.Proceedings of the Text Analysis Conference (TAC 2010) November 15, 2010.
MONTALVO-HUHN, O.; TAYLOR, S. Textual Entailment – Fitchburg State College. In Pro-ceedings of TAC08, Fourth PASCAL Challenges Workshop on Recognising Textual Entail-ment, 2008.
OLIVEIRA, M. G. de; OLIVEIRA, E. e MARCHESI, R. Z. Um QAsystem para Interação de Alunos em Avaliações Somativas a Distância. In Simpósio Brasileiro de Informática na Educação, 2009.
RIGO, S. J. et al. O papel do Processamento de Língua Natural e da Representação de Conhecimento na extração de informações em mensagens textuais na Educação a Distância. In Simpósio Brasileiro de Informática na Educação, 2013.
RIOS, M.; GELBUKH, A. Recognizing Textual Entailment with a Semantic Edit Distance Metric. 11th Mexican International Conference on Artificial Inteligence. 2012.
SHARIATMADARI, S.; MAMAT, A. Discovering semantic similarity association in semantic search system. Proceedings of the 11th WAS, p. 331, 2009.
TSUCHIDA, M.; ISHIKAWA, K. IKOMA at TAC2011: A Method for Recognizing Tex-tual Entailment using Lexical-level and Sentence Structure-level features. In TAC 2011.
VARMA, V. et al. IIIT Hyderabad at TAC 2009. Maryland USA, 2009.
ZHANG, S.; et al. "Recognizing Textual Entailment with synthetic analysis based on SVM and feature value control,". Intelligent Computer Communication and Processing (ICCP), 2012 IEEE vol., no., pp.91,94, Aug. 30 2012-Sept. 1, 2012.
Publicado
03/11/2014
Como Citar
FLORES, Evandro Metz; RIGO, Sandro J.; BARBOSA, Jorge L. V..
Um modelo para avaliação automática de respostas textuais com uso de regras linguísticas. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 25. , 2014, Dourados/MS.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2014
.
p. 1153-1162.
DOI: https://doi.org/10.5753/cbie.sbie.2014.1153.
