Impacto da Direção da Divergência KL na Calibração e Entropia Preditiva em Destilação de Conhecimento para LLMs - Campos, Victor Pasquini Ribeiro; Drummond, Isabela Neves (Anais do Seminário Integrado de Software e Hardware (SEMISH), 2026)
A destilação de conhecimento (KD) transfere a distribuição preditiva de um modelo professor maior para um estudante menor. A escolha entre Forward KL (FKL) e Reverse KL (RKL) como função de perda determina como o estudante organiza sua distribuição de saída, mas o impacto sobre entropia preditiva e calibração em geração aberta permanecia não caracterizado. Este trabalho apresenta um experimento controlado comparando CE baseline, FKL e RKL na destilação de Qwen2.5-7B para Qwen2.5-1.5B no Dolly-15k, medindo entropia token-level H(t), Erro de Calibração Esperado (ECE) e divergência KL Teacher-Student. A RKL produziu menor entropia e maior ECE, indicando overconfidence não observado em tarefas de classificação. FKL com T=4 obteve o menor ECE entre todas as condições, enquanto FKL com T=2 produziu o maior ECE da família FKL, revelando efeito não-monotônico da temperatura sobre a calibração. A temperatura não exerceu efeito sobre a RKL, confirmando empiricamente sua invariância teórica.