Avaliação do Desempenho de LLMs Médios na Extração de Esquemas JSON: Um Estudo Empírico - Almeida, Thiago C.; Duarte, Denio; Schreiner, Geomar A.; Feitosa, Samuel (Anais do Simpósio Brasileiro de Banco de Dados (SBBD), 2026)
Modelos de Linguagem de Grande Escala (LLMs) são amplamente utilizados em várias tarefas de processamento de linguagem natural, porém com alto custo computacional que limita o seu uso. Este estudo investiga o desempenho de LLMs de tamanho médio em relação ao número de parâmetros, especificamente Gemma 3-4B e Qwen 2.5-14B, na extração de esquemas de coleções JSON. O desempenho é avaliado pela corretude do esquema extraído (i.e., os documentos utilizados são válidos em relação ao esquema extraído) e o tempo total do processamento. Os resultados dos experimentos mostram que os modelos tiveram sucesso (taxa superior a 99%) em extrair esquemas JSON. Contudo, mesmo com modelos médios, o elevado custo computacional e o tempo de processamento ainda representam desafios significativos para a escalabilidade da solução em ambientes com recursos limitados.