Análise de Eficácia baseada em Diversidade para Sistemas de Recuperação de Informação
Resumo
Os sistemas de recuperação de informação geralmente são avaliados considerando apenas a relevância do ranking. Porém, isso nem sempre nos permite avaliar o quão bom foi o resultado, considerando a intenção do usuário. Assim, é necessário incorporar medidas de diversidade ao processo de avaliação. Neste trabalho apresentamos extensões incorporadas à AnalyzIR, que é uma ferramenta prática de análise de eficácia para sistemas de recuperação de informações. Por padrão, a ferramenta disponibilizava apenas análises por relevância, mas ao agregar frameworks e medidas de diversidade, tornou-se uma plataforma integrada e intuitiva, que considera tanto a relevância quanto a diversidade dos resultados.Referências
Agrawal, R., Gollapudi, S., Halverson, A., and Ieong, S. (2009). Diversifying search results. In International Conference on WSDM, page 5–14, New York, NY, USA.
Clarke, C. L., Kolla, M., Cormack, G. V., Vechtomova, O., Ashkan, A., Büttcher, S., and MacKinnon, I. (2008). Novelty and diversity in information retrieval evaluation. In ACM SIGIR, page 659–666, New York, NY, USA.
Rodrygo, L. S., Macdonald, C., and Ounis, I. (2015). Search result diversification. Foundations and Trends in Information Retrieval, 9(1):1–90.
Sakai, T. (2011). Ntcireval: A generic toolkit for information access evaluation. In Proceedings of the forum on information technology, volume 2, pages 23–30.
Sakai, T., Craswell, N., Song, R., Robertson, S., Dou, Z., and yew Lin, C. (2010). Simple evaluation metrics for diversified search results. In EVIA, pages 42–50.
Xu, J., Xia, L., Lan, Y., Guo, J., and Cheng, X. (2017). Directly optimize diversity evaluation measures: A new approach to search result diversification. ACM Transactions on Intelligent Systems and Technology, 8(3).
Zhai, C., Cohen, W. W., and Lafferty, J. D. (2015). Beyond independent relevance: Methods and evaluation metrics for subtopic retrieval. SIGIR Forum, 49(1):2–9.
Clarke, C. L., Kolla, M., Cormack, G. V., Vechtomova, O., Ashkan, A., Büttcher, S., and MacKinnon, I. (2008). Novelty and diversity in information retrieval evaluation. In ACM SIGIR, page 659–666, New York, NY, USA.
Rodrygo, L. S., Macdonald, C., and Ounis, I. (2015). Search result diversification. Foundations and Trends in Information Retrieval, 9(1):1–90.
Sakai, T. (2011). Ntcireval: A generic toolkit for information access evaluation. In Proceedings of the forum on information technology, volume 2, pages 23–30.
Sakai, T., Craswell, N., Song, R., Robertson, S., Dou, Z., and yew Lin, C. (2010). Simple evaluation metrics for diversified search results. In EVIA, pages 42–50.
Xu, J., Xia, L., Lan, Y., Guo, J., and Cheng, X. (2017). Directly optimize diversity evaluation measures: A new approach to search result diversification. ACM Transactions on Intelligent Systems and Technology, 8(3).
Zhai, C., Cohen, W. W., and Lafferty, J. D. (2015). Beyond independent relevance: Methods and evaluation metrics for subtopic retrieval. SIGIR Forum, 49(1):2–9.
Publicado
25/10/2021
Como Citar
PEIXOTO, Raul do Carmo; FIGUERÊDO, José Solenir L.; CALUMBY, Rodrigo Tripodi.
Análise de Eficácia baseada em Diversidade para Sistemas de Recuperação de Informação. In: ESCOLA REGIONAL DE COMPUTAÇÃO BAHIA, ALAGOAS E SERGIPE (ERBASE), 21. , 2021, Maceió.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2021
.
p. 134-139.
DOI: https://doi.org/10.5753/erbase.2021.20065.
