Aplicação de Modelos BERT Especializados para o Aprimoramento na Classificação de Sentenças Jurídicas
Resumo
Soluções baseadas em Processamento de Linguagem Natural (PLN) são adotadas com o objetivo de otimizar a gestão processual e garantir maior uniformidade e previsibilidade nas decisões judiciais. Modelos de linguagem, como o Bidirectional Encoder Representations from Transformers (BERT), são alternativas viáveis para capturar as particularidades da linguagem legal. Este trabalho investiga a aplicação de Parameter-Efficient Fine-Tuning (PEFT) com Low-Rank Adaptation (LoRA) aos modelos LegalBert-pt e BumbaBert, com abordagens de truncamento e agrupamento dos documentos para o aumento da precisão na classificação de temas de Incidentes de Resolução de Demandas Repetitivas (IRDRs) em sentenças jurídicas.
Referências
Carmo, F. A. D., Serejo, F., Jacob Junior, A. F. L., Santana, E. E. C., and Lobato, F. M. F. (2023). Embeddings Jurídico: Representações Orientadas à Linguagem Jurídica Brasileira. In Anais Do XI Workshop de Computação Aplicada Em Governo Eletrônico (WCGE 2023), pages 188–199, Brasil. Sociedade Brasileira da Computação.
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., and Chen, W. (2021). LoRA: Low-Rank Adaptation of Large Language Models.
Melo, J. (2021). Sistema de precedentes garante segurança jurídica e decisões ágeis. [link].
Polo, F. M., Mendonça, G. C. F., Parreira, K. C. J., Gianvechio, L., Cordeiro, P., Ferreira, J. B., Lima, L. M. P. D., Maia, A. C. D. A., and Vicente, R. (2021). LegalNLP - Natural Language Processing methods for the Brazilian Legal Language. In Anais Do XVIII Encontro Nacional de Inteligência Artificial e Computacional (ENIAC 2021), pages 763–774, Brasil. Sociedade Brasileira de Computação.
Silveira, R., Ponte, C., Almeida, V., Pinheiro, V., and Furtado, V. (2023). LegalBert-pt: A Pretrained Language Model for the Brazilian Portuguese Legal Domain. In Naldi, M. C. and Bianchi, R. A. C., editors, Intelligent Systems, volume 14197, pages 268– 282. Springer Nature Switzerland, Cham.
Wirth, R. and Hipp, J. (2000). CRISP-DM: Towards a Standard Process Model for Data Mining.
Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., and Chen, W. (2021). LoRA: Low-Rank Adaptation of Large Language Models.
Melo, J. (2021). Sistema de precedentes garante segurança jurídica e decisões ágeis. [link].
Polo, F. M., Mendonça, G. C. F., Parreira, K. C. J., Gianvechio, L., Cordeiro, P., Ferreira, J. B., Lima, L. M. P. D., Maia, A. C. D. A., and Vicente, R. (2021). LegalNLP - Natural Language Processing methods for the Brazilian Legal Language. In Anais Do XVIII Encontro Nacional de Inteligência Artificial e Computacional (ENIAC 2021), pages 763–774, Brasil. Sociedade Brasileira de Computação.
Silveira, R., Ponte, C., Almeida, V., Pinheiro, V., and Furtado, V. (2023). LegalBert-pt: A Pretrained Language Model for the Brazilian Portuguese Legal Domain. In Naldi, M. C. and Bianchi, R. A. C., editors, Intelligent Systems, volume 14197, pages 268– 282. Springer Nature Switzerland, Cham.
Wirth, R. and Hipp, J. (2000). CRISP-DM: Towards a Standard Process Model for Data Mining.
Publicado
04/11/2024
Como Citar
SILVA, Gustavo S.; ARAÚJO, Gabriele S.; JACOB JR., Antonio F. L..
Aplicação de Modelos BERT Especializados para o Aprimoramento na Classificação de Sentenças Jurídicas. In: ESCOLA REGIONAL DE ALTO DESEMPENHO NORTE 2 (ERAD-NO2) E ESCOLA REGIONAL DE APRENDIZADO DE MÁQUINA E INTELIGÊNCIA ARTIFICIAL NORTE 2 (ERAMIA-NO2), 4. , 2024, Santarém/PA.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 22-25.
DOI: https://doi.org/10.5753/erad-eramia-no2.2024.245615.
