Impacto da Direção da Divergência KL na Calibração e Entropia Preditiva em Destilação de Conhecimento para LLMs

• Victor Pasquini Ribeiro Campos UNIFEI https://orcid.org/0009-0000-6305-0855
• Isabela Neves Drummond UNIFEI https://orcid.org/0000-0003-0368-3970

DOI: https://doi.org/10.5753/semish.2026.23859

Resumo

A destilação de conhecimento (KD) transfere a distribuição preditiva de um modelo professor maior para um estudante menor. A escolha entre Forward KL (FKL) e Reverse KL (RKL) como função de perda determina como o estudante organiza sua distribuição de saída, mas o impacto sobre entropia preditiva e calibração em geração aberta permanecia não caracterizado. Este trabalho apresenta um experimento controlado comparando CE baseline, FKL e RKL na destilação de Qwen2.5-7B para Qwen2.5-1.5B no Dolly-15k, medindo entropia token-level H(t), Erro de Calibração Esperado (ECE) e divergência KL Teacher-Student. A RKL produziu menor entropia e maior ECE, indicando overconfidence não observado em tarefas de classificação. FKL com T=4 obteve o menor ECE entre todas as condições, enquanto FKL com T=2 produziu o maior ECE da família FKL, revelando efeito não-monotônico da temperatura sobre a calibração. A temperatura não exerceu efeito sobre a RKL, confirmando empiricamente sua invariância teórica.

Referências

Gu, Y., Dong, L., Wei, F., and Huang, M. (2024). MiniLLM: Knowledge distillation of large language models. In Proceedings of the 12th International Conference on Learning Representations (ICLR).

Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q. (2017). On calibration of modern neural networks. In Proceedings of the 34th International Conference on Machine Learning (ICML), pages 1321–1330.

Hebbalaguppe, R. et al. (2024). Calibration transfer via knowledge distillation. In Proceedings of the Asian Conference on Computer Vision (ACCV).

Hinton, G., Vinyals, O., and Dean, J. (2015). Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531.

Hosseini, M. and Caragea, C. (2022). Calibrating student models for emotion-related tasks. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 9266–9278, Abu Dhabi, United Arab Emirates. Association for Computational Linguistics.

Jung, S., Yoon, S., Kim, D., and Lee, H. (2025). ToDi: Token-wise distillation via fine-grained divergence control. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 8078–8091, Suzhou, China. Association for Computational Linguistics.

Kadavath, S., Conerly, T., Askell, A., et al. (2022). Language models (mostly) know what they know. arXiv preprint arXiv:2207.05221.

Kim, S., Park, S., Lee, J., and Kwak, N. (2025). The role of teacher calibration in knowledge distillation. IEEE Access, 13.

Rao, J. et al. (2024). Exploring and enhancing the transfer of distribution in knowledge distillation for autoregressive language models. arXiv preprint arXiv:2409.12512.

Stanton, S., Izmailov, P., Kirichenko, P., Alemi, A. A., and Wilson, A. G. (2021). Does knowledge distillation really work? In Advances in Neural Information Processing Systems (NeurIPS), volume 34, pages 6906–6919.

Wu, T., Tao, C., Wang, J., Yang, R., Zhao, Z., and Wong, N. (2025). Rethinking Kullback-Leibler divergence in knowledge distillation for large language models. In Proceedings of the 31st International Conference on Computational Linguistics (COLING).