Uma Ferramenta para Apoiar a Seleção de Instrumentos de Avaliação de Chatbots Educacionais
Resumo
Os chatbots educacionais têm sido amplamente utilizados para apoiar processos de ensino e aprendizagem, tornando fundamental a avaliação desses sistemas para assegurar sua qualidade e efetividade. Entretanto, a seleção de instrumentos de avaliação ainda representa um desafio para avaliadores, devido à diversidade de instrumentos e artefatos disponíveis e à dispersão de informações na literatura científica. Nesse sentido, este trabalho apresenta uma ferramenta web destinada a apoiar a seleção de instrumentos e artefatos para avaliação de chatbots educacionais. A ferramenta foi desenvolvida com base nos instrumentos e artefatos identificados em um mapeamento sistemático da literatura e organiza os metadados dos instrumentos identificados em um catálogo, permitindo sua consulta por meio de mecanismos de busca e de filtragem. Além disso, disponibiliza informações estruturadas sobre cada instrumento, incluindo descrição, atributos de qualidade, modalidade de comunicação, idiomas disponíveis e um link de acesso ao instrumento. Como principal contribuição, a ferramenta centraliza as informações sobre instrumentos de avaliação em um único ambiente, apoiando pesquisadores na identificação e seleção de alternativas adequadas a diferentes cenários de avaliação de chatbots educacionais.
Referências
Ana Clarissa Barroso Beleza, Suzan Evellyn Nascimento da Mota, Márcia Sampaio Lima, and Tayana Uchôa Conte. 2025. UX4ALL: A Repository of User Experience Evaluation Methods.. In Proceedings of the XXIV Brazilian Symposium on Human Factors in Computing Systems. SBC, Porto Alegre, RS, Brazil.
Tim Debets, Seyyed Kazem Banihashem, Desirée Joosten-Ten Brinke, Tanja E.J. Vos, Gideon Maillette de Buy Wenniger, and Gino Camp. 2025. Chatbots in education: A systematic review of objectives, underlying technology and theory, evaluation criteria, and impacts. Computers & Education 234 (2025), 105323. DOI: 10.1016/j.compedu.2025.105323
Mariana Almeida Faustino, Leo Natan Paschoal, and Pedro Henrique Valle. 2026. Instruments and Artifacts for Evaluating Educational Chatbots. In Proceedings of the 28th International Conference on Enterprise Information Systems - Volume 2: ICEIS. INSTICC, SciTePress, Setúbal, Portugal, 1711–1722. DOI: 10.5220/0014829100004018
Mohammad Amin Kuhail, Nazik Alturki, Salwa Alramlawi, and Kholood Alhejori. 2023. Interacting with educational chatbots: A systematic review. Education and Information Technologies 28 (2023), 973–1018.
Wari Maroengsit, Thanarath Piyakulpinyo, Korawat Phonyiam, Suporn Pongnumkul, Pimwadee Chaovalit, and Thanaruk Theeramunkong. 2019. A survey on evaluation methods for chatbots. In Proceedings of the 2019 7th International conference on information and education technology. ACM, New York, NY, USA, 111–119.
Solano Oliveira, Alexandre Cristo, Miguel Geovane, André Xavier, Roseno Silva, Sabrina Rocha, Leonardo C Marques, Genildo Gomes, Bruno Gadelha, and Tayana Conte. 2023. UXNator: A Tool for Recommending UX Evaluation Methods.. In ICEIS (2). SciTePress, Setúbal, Portugal, 336–343.
Phillip Olla, Nadine Wodwaski, and Taylor Long. 2025. Beyond the Bot: A Dual-Phase Framework for Evaluating AI Chatbot Simulations in Nursing Education. Nursing Reports 15, 8 (2025). DOI: 10.3390/nursrep15080280
Leo Natan Paschoal. 2020. A Framework to Support the Experimental Evaluation Process of the Pedagogical Conversational Systems. Master’s thesis. Universidade de São Paulo, São Carlos.
Leo Natan Paschoal. 2024. Um framework para o planejamento de experimentos controlados na pesquisa de chatbots educacionais. Tese (Doutorado). Universidade de São Paulo, São Carlos. DOI: 10.11606/T.55.2024.tde-18032025-134125
Mariana Almeida Faustino, Leo Natan Paschoal, and Pedro Henrique Valle. 2026. Instruments and Artifacts for Evaluating Educational Chatbots. In Proceedings of the 28th International Conference on Enterprise Information Systems - Volume 2: ICEIS. INSTICC, SciTePress, Setúbal, Portugal, 1711–1722. DOI: 10.5220/0014829100004018,
Wei Qiu, Chit Lin Su, Nurabidah Binti Jamil, Maung Thway, Samuel Soo Hwee Ng, Lei Zhang, Fun Siong Lim, and Joel Weijia Lai. 2025. A Systematic Approach to Evaluate the Use of Chatbots in Educational Contexts: Learning Gains, Engagements and Perceptions. Computers 14, 7 (2025). DOI: 10.3390/computers14070270
Nicole M Radziwill and Morgan C Benton. 2017. Evaluating quality of chatbots and intelligent conversational agents. arXiv preprint arXiv:1704.04579 (2017).
Ian Sommerville. 2016. Software Engineering (10 ed.). Pearson, Boston, MA, USA.
Rainer Winkler and Matthias Söllner. 2018. Unleashing the potential of chatbots in education: A state-of-the-art analysis. In Academy of management proceedings. Academy of Management Briarcliff Manor, NY 10510, Academy of Management, Briarcliff Manor, NY, USA, 15903.
Sebastian Wollny, Jan Schneider, Daniele Di Mitri, Joshua Weidlich, Marc Rittberger, and Hendrik Drachsler. 2021. Are We There Yet? - A Systematic Literature Review on Chatbots in Education. Frontiers in Artificial Intelligence Volume 4 - 2021 (2021). DOI: 10.3389/frai.2021.654924
