On the Role of Semantic Word Clusters — CluWords — in Natural Language Processing (NLP) - Viegas, Felipe; Rocha, Leonardo; Gonçalves, Marcos André (Anais Estendidos do Simpósio Brasileiro de Banco de Dados (SBBD); 2024: Anais Estendidos do XXXIX Simpósio Brasileiro de Bancos de Dados, 2024)
Esta tese de doutorado tem como foco a proposta, concepção e avaliação de uma nova representação textual de documentos que combina o “melhor de dois mundos”: a informação frequentista, eficiente e eficaz (representações TFIDF), com informações semânticas derivadas de representações de word embeddings. Especificamente, nossa proposta — denominada CluWords — agrupa palavras relacionadas sintática e semanticamente em clusters e aplica esquemas de filtragem e ponderação específicos para o domínio e orientados à aplicação, visando construir representações documentais poderosas e ajustadas às necessidades específicas de cada tarefa. O conceito inovador de CluWords foi aplicado em quatro aplicações de Processamento de Linguagem Natural (PLN): modelagem de tópicos, modelagem hierárquica de tópicos, construção de léxicos de sentimentos e análise de sentimentos. As contribuições principais desta dissertação incluem: (i) a introdução de uma nova representação de dados; (ii) o desenvolvimento de componentes do CluWords capazes de aprimorar a eficácia em aplicações de Modelagem de Tópicos, Modelagem Hierárquica de Tópicos e Análise de Sentimentos; (iii) a proposta de duas novas métricas para avaliar a qualidade tópica das estruturas hierárquicas. Nossos extensos experimentos demonstram que CluWords alcança o estado da arte atual em modelagem de tópicos e modelagem hierárquica de tópicos. No contexto da análise de sentimentos, os resultados mostram que a filtragem e ponderação proporcionadas pelo CluWords podem mitigar o ruído semântico, superando até mesmo arquiteturas poderosas baseadas em Transformadores. Os resultados foram publicados em algumas das principais conferências e revistas científicas da área, conforme detalhado neste documento. Este trabalho foi apoiado por dois Google Research Awards.