Um Pipeline de Pré-Processamento de Dados Textuais em Português para Análise de Redes Sociais - dos Santos, Livia A.; Coelho, Orlando B.; Araujo, Renata; Oliveira, Ivan Carlos A. (Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL), 2024)
O pré-processamento é uma etapa fundamental no processamento de dados textuais, especialmente quando se trabalha com análise de textos, mineração de dados ou aprendizagem de máquina. Em particular, os dados textuais provenientes das redes sociais oferecem desafios ao pré-processamento, principalmente devido a sua estrutura informal. Este artigo apresenta um pipeline compreendendo 9 atividades básicas de processamento para garantia da qualidade e consistência de conjuntos de dados textuais em português brasileiro extraídos de redes sociais. O pipeline foi testado em conjuntos de 8 mil, 20 mil e 60 mil tweets, demonstrando sua eficácia em termos de precisão, redução de ruído e tempo de processamento.