Avaliação do Desempenho de LLMs Médios na Extração de Esquemas JSON: Um Estudo Empírico - Almeida, Thiago C.; Duarte, Denio; Schreiner, Geomar A.; Feitosa, Samuel (Anais do Simpósio Brasileiro de Banco de Dados (SBBD); 2026: Anais do XLI Simpósio Brasileiro de Bancos de DadosDO - 10.5753/sbbd.2026.249140, 2026)
Modelos de Linguagem de Grande Escala (LLMs) são amplamente utilizados em várias tarefas de processamento de linguagem natural, porém com alto custo computacional que limita o seu uso. Este estudo investiga o desempenho de LLMs de tamanho médio em relação ao número de parâmetros, especificamente Gemma 3-4B e Qwen 2.5-14B, na extração de esquemas de coleções JSON. O desempenho é avaliado pela corretude do esquema extraído (i.e., os documentos utilizados são válidos em relação ao esquema extraído) e o tempo total do processamento. Os resultados dos experimentos mostram que os modelos tiveram sucesso (taxa superior a 99%) em extrair esquemas JSON. Contudo, mesmo com modelos médios, o elevado custo computacional e o tempo de processamento ainda representam desafios significativos para a escalabilidade da solução em ambientes com recursos limitados.