A New Risk-Sensitive Deep Learning Optimization Function for Ranking Tasks

• Pedro H. S. Rodrigues Universidade Federal de Minas Gerais (UFMG)
• Daniel X. de Sousa Instituto Federal de Goiás (IFG)
• Marcos A. Gonçalves Universidade Federal de Minas Gerais (UFMG)

DOI: https://doi.org/10.5753/sbbd_estendido.2024.240610

Resumo

Esta dissertação de mestrado propõe a função RiskLoss para lidar com o problema de incorporar medidas de sensibilidade ao risco em Redes Neurais Profundas (RNPs), incluindo duas adaptações para a modelos de ranqueamento em redes neurais, considerando busca ad-hoc e Sistemas de Recomendação (RSs): uma função de perda diferenciável e o uso de subporções de redes, obtidas via dropout, como sistemas de referência para otimizar a sensibilidade ao risco. Demonstramos empiricamente conquistas significativas das funções RiskLoss quando usadas com métodos recentes de RNPs. No caso da busca ad-hoc, RiskLoss apresenta um comportamento bastante consistente de sensibilidade ao risco, reduzindo em 28% as perdas em relação às melhores referências avaliadas e melhorando significativamente em relação ao estado da arte não-RNP sensível ao risco (em até 13%), mantendo (ou até aumentando) a eficácia geral. Nos RSs, RiskLoss pôde reduzir o número de recomendações ruins em mais de 11% para usuários “difíceis de recomendar”. Esta dissertação produziu um artigo completo na mais importante conferência de Recuperação de Informação do mundo (ACM SIGIR Conference on Research and Development in IR 2022, Qualis A1) e um artigo de revista submetido ao Information Processing & Management da Elsevier (Qualis A1), atualmente na segunda fase de revisão.

Palavras-chave: Risk-sensitiveness, Deep Neural Network, Loss Function

Referências

Dinçer, B. T., Macdonald, C., and Ounis, I. (2016). Risk-sensitive evaluation and learning to rank using multiple baselines. SIGIR ’16, New York, USA.

Fu, Z., Xian, Y., Gao, R., Zhao, J., Huang, Q., Ge, Y., Xu, S., Geng, S., Shah, C., Zhang, Y., and de Melo, G. (2020). Fairness-Aware Explainable Recommendation over Knowledge Graphs.

Knijnenburg, B. P., Willemsen, M. C., Gantner, Z., Soncu, H., and Newell, C. (2012). Explaining the user experience of recommender systems. J. of User Mod. and User-Adapt. Inter.

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.-t., Rocktäschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. In Proceedings of the 34th International Conference on Neural Information Processing Systems, NIPS ’20, Red Hook, NY, USA. Curran Associates Inc.

Li, H. (2011). Learning to rank for information retrieval and natural language processing. Morgan & Claypool Publishers.

Pobrotyn, P., Bartczak, T., Synowiec, M., Bialobrzeski, R., and Bojar, J. (2020). Context-aware learning to rank with self-attention. In Journal Computing Research Repository.

Qin, T., Liu, T.-Y., and Li, H. (2010). A general approximation framework for direct optimization of information retrieval measures. In Journal of Information Retrieval, 13(0).

Wang, L., Bennett, P. N., and Collins-Thompson, K. (2012). Robust ranking models via risk-sensitive optimization. In Proceedings of the 35th International Conference on Research and Development in Information Retrieval, SIGIR ’12, New York, USA.

Yao, Y., Duan, J., Xu, K., Cai, Y., Sun, Z., and Zhang, Y. (2024). A survey on large language model (llm) security and privacy: The good, the bad, and the ugly. High-Confidence Computing, 4(2):100211.