Abordagem Hierárquica com BERT para Classificação de Documentos Jurídicos Longos: Uma Análise de Técnicas de Agregação de Características - Silva, Jasson Carvalho da; Rabelo, Ricardo Andrade Lira; Lima, Weslley Emmanuel Martins; Almeida, Vitor Augusto Correa Cortez (Anais da Escola Regional de Computação do Ceará, Maranhão e Piauí (ERCEMAPI), 2024)
O estudo visa avaliar e implementar técnicas de agregação de características em modelos hierárquicos para lidar com textos longos no domínio jurídico. Modelos baseados em transformers, embora eficazes em vários problemas de Processamento de Linguagem Natural, enfrentam dificuldades devido à sua complexidade quadrática, especialmente com textos que excedem 512 tokens. Para superar esses desafios, o estudo propõe investigar métodos como modelos hierárquicos, estratégias de divisão de texto, atenção local e esparsa, com o objetivo de aprimorar o processamento e a análise desses textos, fornecendo insights valiosos para a compreensão e uso eficaz em contextos jurídicos.