Desafios dos Grafos de Conhecimento: uma proposta de avaliação de sistemas OpenIE
Resumo
A Extração de Informação Aberta (OpenIE) enfrenta desafios na avaliação de seus modelos. Com a utilização de métricas tradicionais de outras áreas e a ausência de um corpus de ouro, surge a dificuldade de avaliar todas as possíveis extrações geradas pelos modelos. Neste trabalho, propomos um método de avaliação comparativa entre diferentes modelos de OpenIE voltados para a ĺıngua portuguesa utilizando grafos de conhecimento. Os resultados obtidos demonstram que modelos capazes de gerar um maior número de triplas com precisão tendem a oferecer melhor desempenho, evidenciando a importância de equilibrar quantidade e qualidade na tarefa de OpenIE.Referências
Cabral, B., Souza, M., and Claro, D. B. (2022). Portnoie: A neural framework for open information extraction for the portuguese language. In International Conference on Computational Processing of the Portuguese Language, pages 243–255. Springer.
Claro, D. B., Santos, J., Souza, M., Vieira, R., and Pinheiro, V. (2024). Extração de informação. In Caseli, H. M. and Nunes, M. G. V., editors, Processamento de Linguagem Natural: Conceitos, Técnicas e Aplicações em Português, book chapter 20. BPLN, 2 edition.
Glauber, R. and Barreiro Claro, D. (2018). A systematic mapping study on open information extraction. Expert Systems with Applications, 112:372–387.
Oliveira, L., Claro, D. B., and Souza, M. (2023). Dptoie: a portuguese open information extraction based on dependency analysis. Artificial Intelligence Review, 56(7):7015–7046.
Paulheim, H. (2017). Knowledge graph refinement: A survey of approaches and evaluation methods. Semantic web, 8(3):489–508.
Queiroz, B., Cavalcante, R., and Claro, D. (2023). Desafios da tarefa de extração de informação aberta: uma abordagem metodológica de um corpus automatizado até o corpus manual. In Anais do XIV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 388–392, Porto Alegre, RS, Brasil. SBC.
Claro, D. B., Santos, J., Souza, M., Vieira, R., and Pinheiro, V. (2024). Extração de informação. In Caseli, H. M. and Nunes, M. G. V., editors, Processamento de Linguagem Natural: Conceitos, Técnicas e Aplicações em Português, book chapter 20. BPLN, 2 edition.
Glauber, R. and Barreiro Claro, D. (2018). A systematic mapping study on open information extraction. Expert Systems with Applications, 112:372–387.
Oliveira, L., Claro, D. B., and Souza, M. (2023). Dptoie: a portuguese open information extraction based on dependency analysis. Artificial Intelligence Review, 56(7):7015–7046.
Paulheim, H. (2017). Knowledge graph refinement: A survey of approaches and evaluation methods. Semantic web, 8(3):489–508.
Queiroz, B., Cavalcante, R., and Claro, D. (2023). Desafios da tarefa de extração de informação aberta: uma abordagem metodológica de um corpus automatizado até o corpus manual. In Anais do XIV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 388–392, Porto Alegre, RS, Brasil. SBC.
Publicado
29/09/2025
Como Citar
SILVA, Samuel Rios da; ATHAYDES, Aline; MANE, Babacar; CLARO, Daniela Barreiro; SOUZA, Marlo; MORAES NETO, Fernando H. de A.; DANTAS, Larrissa; CAVALCANTE, Rerisson.
Desafios dos Grafos de Conhecimento: uma proposta de avaliação de sistemas OpenIE. In: SIMPÓSIO BRASILEIRO DE TECNOLOGIA DA INFORMAÇÃO E DA LINGUAGEM HUMANA (STIL), 16. , 2025, Fortaleza/CE.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 718-722.
DOI: https://doi.org/10.5753/stil.2025.37878.
