Avaliação do uso de Explicabilidade de LLMs e Grafos de Ativação (NRAGs) em estudos bibliométricos - Pereira, Matheus; Pacheco, Demian; Santanchè, André; Gomes-Jr, Luiz (Anais da Escola Regional de Banco de Dados (ERBD); 2026: Anais da XXI Escola Regional de Banco de DadosDO - 10.5753/erbd.2026.21376, 2026)
Apesar de sua popularidade, os Grandes Modelos de Linguagem (LLMs) são modelos de ”caixa-preta”que apresentam desafios para a interpretabilidade e o alinhamento. A Explicabilidade em IA (XAI) foca em compreender esse tipo de modelo, permitindo que pesquisadores detectem padrões que auxiliem na compreensão de seu comportamento. Além de revelar informações sobre os modelos, esses padrões também podem revelar informações sobre os dados fornecidos aos algoritmos. Neste artigo, avaliamos como a Explicabilidade de LLMs poderia ser aplicada no campo da bibliometria. O objetivo é utilizar padrões de inferência de LLM para representar diferenças entre áreas de pesquisa (utilizando artigos publicados nessas áreas). Utilizamos a ferramenta LLM-MRI, que gera grafos (NRAGs) que representam padrões de ativação neural durante a inferência do LLM. Computamos métricas de redes complexas a partir dos grafos para avaliar três diferentes campos de pesquisa em Ciência da Computação.