OABench-Consumidor: Um benchmark para avaliação de modelos de linguagem em Direito do Consumidor

• Lucas B. Bulcão Mota UFBA
• Aline Athaydes UFBA
• Babacar Mane UFBA
• Daniela Barreiro Claro UFBA

DOI: https://doi.org/10.5753/stil.2026.29871

Resumo

Avaliar modelos de linguagem em domínios específicos, como o Direito do Consumidor, é um desafio devido à escassez de recursos padronizados em português brasileiro. Para resolver esse problema, introduzimos o OABench-Consumidor, um benchmark composto exclusivamente por questões de Direito do Consumidor da primeira fase do Exame de Ordem Unificado (OAB), cobrindo as edições de 2010.1 a 2025.2. Este artigo descreve a coleta e a estruturação dos dados. Além disso, a utilidade do benchmark é demonstrada através da avaliação do modelo fundacional Qwen3-8B e de uma versão ajustada. O modelo especializado obteve 64,84% de acurácia (59/91), superando os 51,65% (47/91) do modelo base. O benchmark oferece um recurso direto para avaliar sistemas de Inteligência Artificial nessa subárea do Direito.

Referências

Athaydes, A., Bulcao, L., Sacramento, C., Mane, B., Claro, D. B., Souza, M., and Pita, R. (2024). Brazilian consumer protection code: a methodology for a dataset to question-answer (QA) models. In Claro, D. B. and Pagano, A., editors, Proceedings of the 15th Brazilian Symposium in Information and Human Language Technology, pages 522–529, Belém do Pará, Brazil. Association for Computational Linguistics.

Athaydes, A., Mota, L., Neto, F. M., Silva, S., Mane, B., Claro, D., Souza, M., and Lisboa, A. (2025). Towards a corpus methodology for llms in the legal domain. In Anais do XVI Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, pages 272–282, Porto Alegre, RS, Brasil. SBC.

Brasil (1990). Lei no 8.078, de 11 de setembro de 1990. Dispõe sobre a proteção do consumidor e dá outras providências. Diário Oficial da União, Brasília, DF.

ConJur (2023). De cada 4 ações nas justiças estadual e federal, uma é de consumo. [link]. Acesso em: 21 jun. 2025.

Hugging Face. Hugging face: The ai community building the future. [link]. Acesso em: março 2026.

Pires, R., Malaquias Junior, R., and Nogueira, R. (2026). Automatic legal writing evaluation of llms. In Proceedings of the Twentieth International Conference on Artificial Intelligence and Law, ICAIL ’25, pages 420–424, New York, NY, USA. Association for Computing Machinery.