Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL)
type: channel
description: O Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL) tem o propósito de estimular o desenvolvimento de uma área genuinamente multidisciplinar, procurando atrair pesquisadores, membros da comunidade acadêmica e da indústria que atuam nas áreas de Ciência da Computação, Lingüística e Ciência da Informação, entre outras, pois o processamento computacional das línguas humanas requer a coordenação de esforços de diversas comunidades, que contribuem com conhecimentos específicos e metodologias de pesquisa próprias no desenvolvimento de técnicas e sistemas.
publisher: Sociedade Brasileira de Computação
language: pt-BR
publication name: Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL)
issn: 0000-0000
items: Evaluating Domain-Specialized LLMs in Multi-Agent RAG for Enterprise Retrieval
items: Enhancing a Nheengatu Morphosyntactic Analyzer for Word Formation and Non-standard Language
items: NounBank.DS: a Lexical Repository of Nominal Frames from Stock Market Tweets in Brazilian Portuguese
items: Knowledge Distillation in Compact Models: An Approach Applied to Text Processing for Public Security
items: A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification
items: Clustering Discourses: Racial Biases in Short Stories about Women Generated by Large Language Models
items: MOPrompt: Multi-objective Semantic Evolution for Prompt Optimization
items: When Annotators Disagree: A Controlled Evaluation of Gender Bias in Sentiment Analysis Using Synthetic Datasets
items: Benchmarking Large Language Models for Text-to-SQL in Brazilian Portuguese and English
items: Machine Learning Classifiers with Acoustic Features for Prosodic Segmentation in Brazilian Portuguese: A Comprehensive Evaluation
items: LattesRex: Building ChatBots for Semi-Structured Documents
items: Automated Fact-Checking in Brazilian Portuguese: Resources and Baselines
items: AI-PAVE-Br: Leveraging Large Language Models for Enhanced Product Attribute Value Extraction through a Golden Set Approach
items: Avaliação de eficiência na leitura: uma abordagem baseada em PLN
items: RAISE: Reasoning Agent for Interactive SQL Exploration
items: Aprendizado Profundo para Detecção de Movimentos Retóricos
items: Diplomatrix-BR: Um Corpus Paralelo de Redações de Autoria Humana e de LLMs no Concurso de Diplomacia Brasileira
items: Improving Pun Detection with an Ensemble of Traditional Machine Learning Methods
items: A sintaxe no tribunal: apresentando e explorando um corpus jurídico em português anotado sintaticamente segundo o modelo Universal Dependencies
items: Learning with Few: A Comparative Study of Multilingual Text Anomaly Detection
items: Evaluating RAG-based QA Systems: A Comparative Analysis of LLM as a Judge, Traditional Metrics, and Human Alignment
items: PetroGeoNER: A Refined and Unified Dataset for NER in the Oil & Gas Domain
items: Towards a Corpus Methodology for LLMs in the Legal Domain
items: Fine-tuned model evaluation on Transformer Fragments for Identifying Idiomatic Expressions in Portuguese
items: Syntactic Analysis in Transformers through Attention Heads
items: How Faithful Are Your Summaries? A Study of NLI-Based Verification in Portuguese
items: Impacto do Idioma no Desempenho de Algoritmos de Classificação de Texto: Um Estudo entre Português e Inglês
items: DEBISS-Arg: An In Depth Data Annotation Protocol and Corpus for Argument Mining in Semi Structured Debates
items: A Música Brasileira na Ditadura Militar: uma análise de tópicos com BERTopic e GSDMM
items: CROSSAGE: A cross-attentional graph and Transformer architecture for skill and knowledge recognition in job descriptions
items: Restauração de Pontuação em Textos Traduzidos no Idioma pt-BR a partir de Transcrição de Áudios
items: Adapting ASR Models to Technical Scenarios: A Case Study in the Brazilian Automotive Repair Domain
items: Evaluation of an NLP-Based Chatbot for Informational Support in Bronchopulmonary Dysplasia (BPD) in neonates
items: Gender Bias in Portuguese Literary Texts: A Masked Language Model Approach
items: Techniques for Dealing with Imbalanced Data: A Systematic Literature Review
items: GolpeBR: Construction and Validation of an Annotated Dataset on Banking Scams and Fraud
items: Meta4BR: Avaliando a Fidelidade Metafórica em Traduções de Metáforas para o Português por LLMs
items: Evaluating Large Language Models through Multidimensional Item Response Theory: A Comprehensive Case Study on ENEM
items: From Zero-shot to Self-generated References: Leveraging LLMs for Scoring ENEM Essays
items: Corpus Memórias Paroquiais: Avanços em Reconhecimento de Entidades
items: A Moving Target: Detecting Concept Drift in Brazilian Portuguese Fake News
items: Empirical Evaluation of Preprocessing and Balancing Techniques Impact Across Algorithm-Vectorizer Combinations in Sentiment Classification
items: Análise de tópicos e sentimentos em cartas indígenas brasileiras
items: Modelo de Classificação Automática de Frases Faladas com Abordagem em Redes Neurais Convolucionais
items: Estratégias de modelização de dicionários latim-português como Linked Open Data
items: Frame-Based Semantic Representation and Similarity Analysis in Audio Description Scripts
items: Use of Embodied Conversational Agents to Engage Visitors in Art Exhibits
items: Classificação de Notícias Falsas na Língua Portuguesa Utilizando Modelos Baseados na Arquitetura Transformer
items: Anotação de Narrativas Clínicas de acordo com as diretrizes das Dependências Universais
items: The Zé Lensky Dataset: A Brazilian Portuguese Twitter Corpus for Russo-Ukraine War Stance and Sentiment Analysis
items: Towards Prompt Engineering and Large Language Models for Post-OCR correction in handwritten texts
items: DEBISS: a Corpus of Individual, Semi-structured and Spoken Debates
items: Universal Dependencies for 19th-Century Nheengatu from the Lower Amazon Region
items: VerboWeb 3.0: Decoding Verb Behavior in Brazilian Portuguese – From Lexical Semantics to Web-Verified Syntactic Patterns
items: DANTEStocks-AMR em Construção: Avanços e Desafios na Anotação Semântica de Tweets Financeiros
items: Aspectos do desenvolvimento de um etiquetador morfossintático da língua Asuriní do Trocará
items: Análise da Anotação de Negação em Corpora sob as Diretrizes da Universal Dependencies
items: Elevação de sujeito e objeto da completiva-sujeito de adjetivos em português do Brasil
items: O Obstáculo das Ambiguidades Estruturais da Língua para Modelos de Linguagem Linguisticamente Motivados
items: Named Entities in Stock Market Tweets: A Fine-Grained and Linguistically-Motivated Annotation
items: A oposição nas relações de coerência Contrast e Concession
items: Corpus-driven lexical analyses of CorCel: a comparative analysis of preliminary findings of written proficiency in Portuguese as an additional language
items: Extração de Eventos em Notas Clínicas
items: Avaliando Ferramentas de IA Generativa no Conjunto de Perguntas e Respostas da Receita Federal
items: Analisando o Fine-Tuning para Transferência de Conhecimento entre Línguas: um estudo para a Língua Portuguesa
items: Sumarização de opinião multidocumento para o português: comparando um método baseado em grafo com um LLM
items: Da criação de um Corpus ao treinamento de um grande modelo de linguagem: O que pode dar errado em uma IC?
items: Compilação, modernização e anotação morfossintática de um corpus histórico do nheengatu segundo o modelo das Dependências Universais
items: Anotação Enhanced Rhetorical Structure Theory em textos de User-Generated Content
items: Desafios dos Grafos de Conhecimento: uma proposta de avaliação de sistemas OpenIE
items: LLMs no Combate à Desinformação: A Influência do Tamanho do Modelo na Detecção de Fake News no Brasil
items: RST Visualizer: Uma ferramenta para a análise comparativa de anotações da Teoria da Estrutura Retórica
items: SisTIRA: Plataforma Web de Tutoria Inteligente para Avaliação Automática de Respostas Discursivas

Evaluating Domain-Specialized LLMs in Multi-Agent RAG for Enterprise Retrieval
type: item
description: This paper evaluates a multi-agent architecture for enterprise knowledge retrieval where a semantic router directs queries to specialized LLM agents covering thematic domains (e.g., legal, regulatory). We benchmarked prominent models, including GPT-4, LLaMA 4, and Gemini, on metrics like answer relevance, faithfulness, and execution time. Our results demonstrate that this specialized approach achieves superior precision and lower latency compared to centralized configurations. We identify GPT-4o, LLaMA 4, and Gemini-2.5-Flash as offering the best balance of accuracy and efficiency. These findings provide a practical guide for designing scalable, high-fidelity retrieval systems for regulated, multi-domain environments.
creator: Vinícius A. Aguiar
creator: Leonardo A. Amorim
creator: Artur M. A. Novais
creator: Gustavo L. B. Pereira
creator: Tales de Oliveira
creator: Carlos A. de Souza
creator: Arlindo R. G. Filho
creator: Anderson S. Soares
creator: Sávio S. T. de Oliveira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 1
ending page: 12
doi: 10.5753/stil.2025.37809

Enhancing a Nheengatu Morphosyntactic Analyzer for Word Formation and Non-standard Language
type: item
description: UD_Nheengatu-CompLin is the highest-rated and second-largest Amerindian language treebank in Universal Dependencies. It is annotated with Yauti, an analyzer for Nheengatu that uses special tags to handle unknown words. This paper presents a major revision of the special tag mechanism, extending coverage to phenomena such as reduplication, typos, and stylistic variation. A multi-level validator was implemented and passed 416 test cases. All 231 treebank sentences with special tags parsed, yielding a macro F1 score of 0.92 and both weighted and micro F1 scores of 0.96 in feature assignment.
creator: Leonel Figueiredo de Alencar
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 13
ending page: 28
doi: 10.5753/stil.2025.37810

NounBank.DS: a Lexical Repository of Nominal Frames from Stock Market Tweets in Brazilian Portuguese
type: item
description: This paper describes NounBank.DS, a project that provides argument structure for instances of predicate nouns in DANTEStocks, a Dependency-Analyzed corpus of stock market Tweets in Portuguese. NounBank.DS is part of a larger effort to add additional semantic layers of annotation to DANTEStocks. This and other annotation projects taken together should lead to the creation of better tools for the automatic analysis of tweets on the stock market. This paper describes the NounBank.DS project in detail, including its specifications and the process involved in creating the resource.
creator: Bryan K. S. Barbosa
creator: Ariani Di Felippo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 29
ending page: 41
doi: 10.5753/stil.2025.37811

Knowledge Distillation in Compact Models: An Approach Applied to Text Processing for Public Security
type: item
description: This article aims to develop a model for summarizing police reports in the context of public security, with a focus on execution on limited hardware. The approach combined hybrid distillation (logits and intermediate representations) and supervised fine-tuning with LoRA, using a corpus of 19,286 police reports. The evaluation was conducted using automatic metrics (BERTScoreF1) and qualitative analysis by specialists. The results demonstrate that the distilled model generates clear, coherent, and semantically appropriate summaries, comparable to those of the larger model, with superior computational performance, including in hardware-constrained environments.
creator: Ricardo Rodrigues Barcelar
creator: Leonardo Arruda Vilela Garcia
creator: Alan Papafanurakis Heleno
creator: Thiago Meirelles Ventura
creator: Allan Gonçalves de Oliveira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 42
ending page: 51
doi: 10.5753/stil.2025.37812

A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification
type: item
description: In business-to-business relations, it is common to establish Non-Disclosure Agreements (NDAs). However, these documents exhibit significant variation in format, structure, and writing style, making manual analysis slow and error-prone. We propose an architecture based on LLMs to automate the segmentation and clauses classification within these contracts. We employed two models: LLaMA-3.1-8B-Instruct for NDA segmentation (clause extraction) and a fine-tuned Legal-Roberta-Large for clause classification. In the segmentation task, we achieved a ROUGE F1 of 0.95 ± 0.0036; for classification, we obtained a weighted F1 of 0.85, demonstrating the feasibility and precision of the approach.
creator: Ana Begnini
creator: Matheus Vicente
creator: Leonardo Souza
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 52
ending page: 65
doi: 10.5753/stil.2025.37813

Clustering Discourses: Racial Biases in Short Stories about Women Generated by Large Language Models
type: item
description: Este estudo investiga como grandes modelos de linguagem, em particular o LLaMA 3.2-3B, constroem narrativas sobre mulheres negras e brancas em contos gerados em português. A partir de 2100 textos, aplicamos métodos computacionais para agrupar contos semanticamente semelhantes, permitindo uma seleção para análise qualitativa. Três principais representações discursivas/tipos de narrativas emergem: superação social, mitificação ancestral e autorrealização subjetiva. A análise revela como textos gramaticalmente coerentes e aparentemente neutros materializam um enquadramento cristalizado e colonialmente estruturado do corpo feminino, reforçando desigualdades históricas. O estudo propõe uma abordagem integrada, que combina técnicas de aprendizado de máquina com análise qualitativa e manual do discurso.
creator: Gustavo Bonil
creator: João Gondim
creator: Marina dos Santos
creator: Simone Hashiguti
creator: Helena Maia
creator: Nadia Silva
creator: Helio Pedrini
creator: Sandra Avila
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 66
ending page: 77
doi: 10.5753/stil.2025.37814

MOPrompt: Multi-objective Semantic Evolution for Prompt Optimization
type: item
description: Prompt engineering is crucial for unlocking the potential of Large Language Models (LLMs). Still, since manual prompt design is often complex, non-intuitive, and time-consuming, automatic prompt optimization has emerged as a research area. However, a significant challenge in prompt optimization is managing the inherent trade-off between task performance, such as accuracy, and context size. Most existing automated methods focus on a single objective, typically performance, thereby failing to explore the critical spectrum of efficiency and effectiveness. This paper introduces the MOPrompt, a novel Multi-objective Evolutionary Optimization (EMO) framework designed to optimize prompts for both accuracy and context size (measured in tokens) simultaneously. Our framework maps the Pareto front of prompt solutions, presenting practitioners with a set of trade-offs between context size and performance – a crucial tool for deploying Large Language Models (LLMs) in real-world applications. We evaluate MOPrompt on a sentiment analysis task in Portuguese, using Gemma-2B and Sabiazinho-3 as evaluation models. Our findings show that MOPrompt substantially outperforms the baseline framework. For the Sabiazinho model, MOPrompt identifies a prompt that achieves the same peak accuracy (0.97) as the best baseline solution, but with a 31% reduction in token length.
creator: Sara Câmara
creator: Eduardo Luz
creator: Valéria Carvalho
creator: Ivan Reinaldo Meneghini
creator: Gladston Moreira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 78
ending page: 89
doi: 10.5753/stil.2025.37815

When Annotators Disagree: A Controlled Evaluation of Gender Bias in Sentiment Analysis Using Synthetic Datasets
type: item
description: This study investigates gender-related annotation bias in sentiment classification. First, we introduce a controlled synthetic dataset generation method that simulates parallel male and female sentiment labels with adjustable inter-annotator agreement. Then, we present the Gender Comparison Methodology, which trains classifiers separately on gender-partitioned labels and evaluates their predictions using shared textual inputs. Agreement is assessed using metrics such as Cohen’s Kappa, chi-square test, and Cramér’s V. Results show that even moderate disagreement between annotators leads to systematic model divergence, highlighting the importance of annotator identity in shaping classification behavior and informing fairness-aware auditing practices.
creator: Érica Carneiro
creator: Alexander Feitosa
creator: Gustavo Guedes
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 90
ending page: 100
doi: 10.5753/stil.2025.37816

Benchmarking Large Language Models for Text-to-SQL in Brazilian Portuguese and English
type: item
description: This work assessed the performance of seventeen large language models, including open-source and proprietary models, on the Text-to-SQL task in both Brazilian Portuguese and English. Two schema representation strategies were considered: textual descriptions and representations using data definition language. Experimental results on the Spider dataset demonstrated the superior performance of proprietary models, particularly the Gemini-2.5-Flash-preview, as measured by the Execution Accuracy and Exact Match metrics. Among the open-source models, Qwen-2.5-Coder-14B achieved the highest performance. An error analysis of the best-performing model revealed strong proficiency in handling clauses such as SELECT and AND/OR, while considerable challenges persisted in generating more complex constructs, including GROUP BY with HAVING and set operators like UNION and INTERSECT.
creator: Luís Felippe C. de Carvalho
creator: Paulo Sérgio dos S. Júnior
creator: Hilário Tomaz Alves de Oliveira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 101
ending page: 112
doi: 10.5753/stil.2025.37817

Machine Learning Classifiers with Acoustic Features for Prosodic Segmentation in Brazilian Portuguese: A Comprehensive Evaluation
type: item
description: Spontaneous speech has not yet been widely explored in Brazilian Portuguese (BP) for the task of automatic prosodic segmentation. In this article, we compared seven types of classifiers, considering their performance for various types of speaker profiles (varied genders, ages, education levels, and regions of birth) and environmental impact, and trained the most appropriate one. Thus, we propose a Random Forest classifier, based on acoustic features, with low environmental impact and an F1 score of 0.55% and 0.77%, with binary and macro averages, respectively. Additionally, we are making it publicly available and present a discussion of its efficiency for different speaker profiles, as well as its environmental impact.
creator: Giovana M. Craveiro
creator: Caroline A. Alves
creator: Flaviane Svartman
creator: Sandra M. Aluísio
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 113
ending page: 124
doi: 10.5753/stil.2025.37818

LattesRex: Building ChatBots for Semi-Structured Documents
type: item
description: Apresentamos o LattesRex, um sistema de perguntas e respostas baseado em LLMs para auxiliar na análise de currículos da Plataforma Lattes. Propomos uma abordagem estruturada modular inspirada em RAG, explorando metadados para estruturar as entradas enviadas à LLM. Conduzimos uma avaliação detalhada, com validação de linguistas, variando (i) o porte dos modelos, (ii) a extensão dos documentos e (iii) a complexidade das consultas. Os resultados indicam que a estruturação dos dados escala a solução sem perda de qualidade. Contribuímos com uma arquitetura replicável, uma avaliação qualitativa sistemática e reflexões relevantes para o uso de LLMs em contextos reais. Todos os recursos serão disponibilizados publicamente.
creator: Lucas Darcio
creator: Karina Soares Santos
creator: Amanda Spellen
creator: Esther Soares
creator: Livy Real
creator: Altigran Soares da Silva
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 125
ending page: 136
doi: 10.5753/stil.2025.37819

Automated Fact-Checking in Brazilian Portuguese: Resources and Baselines
type: item
description: The spread of misinformation presents a growing societal challenge, particularly in low-resource languages such as Brazilian Portuguese (PTBR), where the scarcity of high-quality datasets limits automated fact-checking tools. In this work, we introduce translated PTBR versions of two influential English-language fact-checking datasets: LIAR and AVERITEC. These resources support multi-class veracity classification and incorporate evidence-based reasoning. We also establish baseline results for both datasets using a range of model configurations, including zero-shot and few-shot prompting with Gemma 3, and fine-tuning of encoder-based models such as mBERT, BERT-Large, and BERTimbau-Large. Across both datasets, fine-tuned encoder-based models consistently outperformed Gemma 3 in zero-shot and few-shot settings. Our results underscore the importance of task-specific fine-tuning and evidence inclusion for veracity classification in PTBR. All datasets, translation scripts, and evaluation protocols are publicly released to support further research in this area.
creator: Marcelo M. Delucis
creator: Lucas Fraga
creator: Otávio Parraga
creator: Christian Mattjie
creator: Rafaela Ravazio
creator: Rodrigo C. Barros
creator: Lucas S. Kupssinskü
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 137
ending page: 148
doi: 10.5753/stil.2025.37820

AI-PAVE-Br: Leveraging Large Language Models for Enhanced Product Attribute Value Extraction through a Golden Set Approach
type: item
description: The explosive growth and complexity of product data within the dynamic Brazilian e-commerce landscape demand robust and specialized methods for structured information extraction. Traditional approaches to Product Attribute Value Extraction (PAVE) often struggle with the linguistic nuances and sheer diversity of product descriptions in Portuguese. To address this critical gap, this paper introduces two major contributions. First, we present AI-PAVEBr, a specialized system engineered with Large Language Models (LLMs) to perform high-accuracy PAVE specifically for Brazilian e-commerce catalogs. Second, to facilitate reproducible research and provide a definitive benchmark, we introduce and share the Golden Set, a new, meticulously curated, and manually annotated dataset for PAVE in Portuguese. We detail the creation process and structure (Entity, Category, Subcategories) of this high-quality reference set. Our experiments conclusively show that AI-PAVE-Br, leveraging targeted prompt engineering, dramatically outperforms conventional Named Entity Recognition (NER) baselines. This work not only delivers a superior, scalable solution for a major non-English market but also enriches the NLP community with a valuable, publicly available resource for future PAVE research.
creator: Murilo Gazzola
creator: Hugo Gobato Souto
creator: Samuel Silva
creator: Júlia Schubert Peixoto
creator: Felipe Siqueira
creator: André Luis Pedroso de Morais
creator: Caio Gomes
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 149
ending page: 160
doi: 10.5753/stil.2025.37821

Avaliação de eficiência na leitura: uma abordagem baseada em PLN
type: item
description: O teste cloze, amplamente difundido por seu baixo custo e flexibilidade, permite avaliar a compreensão leitora por meio do preenchimento de lacunas em textos, exigindo mobilização de repertórios linguísticos diversos. No entanto, os métodos tradicionais de correção, baseados apenas em respostas exatas, limitam a identificação de nuances no desempenho dos estudantes. Este estudo propõe um modelo automatizado de avaliação para o teste cloze em português brasileiro, integrando análises ortográfica (distância de edição), gramatical (via POS tagging) e semântica (similaridade entre embeddings). O método integrado mostrou-se efetivo, atingindo uma alta correlação com a correção humana (ρ = 0,832). Os resultados indicam que a abordagem automatizada é robusta, sensível às variações do repertório linguístico e adequada para contextos educacionais que exigem escalabilidade.
creator: Túlio Sousa de Gois
creator: Raquel Meister Ko. Freitag
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 161
ending page: 169
doi: 10.5753/stil.2025.37822

RAISE: Reasoning Agent for Interactive SQL Exploration
type: item
description: This work proposes a novel agentic framework that unifies schema linking, query generation, and iterative refinement for text-to-SQL within a single, end-to-end component. By leveraging LLM reasoning abilities, our method emulates human database interaction: understanding data through hypothesis formation, dynamic query validation, and result-based refinement. We introduce a strategy for scaling test-time computation by increasing the depth of interactive database exploration rather than traditional approaches. Our experiments show that our agent, equipped with steps to add more diversity to the answers, achieves 81.8% Best-of-N accuracy with 8 candidate rounds, rivaling the topranked published solution (82.79%) while reducing engineering complexity.
creator: Fernando F. Granado
creator: Roberto Lotufo
creator: Jayr Pereira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 170
ending page: 181
doi: 10.5753/stil.2025.37823

Aprendizado Profundo para Detecção de Movimentos Retóricos
type: item
description: A carência de ferramentas para auxílio à escrita científica em português dificulta a produção de textos coesos. Este artigo descreve o processo de fine-tuning do modelo de linguagem BERTimbau para a identificação automática de movimentos retóricos fundamentados no modelo de Swales. A metodologia utiliza o CorpusDT, um corpus de resumos da área de Computação, para a tarefa de classificação de sentenças. Os resultados do classificador demonstram alta eficácia, com um F1-Score de 0,94 no conjunto de validação, indicando o potencial da abordagem para aprimorar a qualidade das publicações científicas em língua portuguesa.
creator: Bruno Vinicius Veronez de Jesus
creator: Arnaldo Candido Junior
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 182
ending page: 191
doi: 10.5753/stil.2025.37824

Diplomatrix-BR: Um Corpus Paralelo de Redações de Autoria Humana e de LLMs no Concurso de Diplomacia Brasileira
type: item
description: Modelos de Língua de Larga Escala (LLMs) avançaram significativamente na geração de textos coerentes e bem estruturados, mas a avaliação de suas saídas ainda representa um desafio, especialmente em geração aberta e de alto nível. Esse problema é ainda mais evidente em línguas menos representadas, como o português, em que os benchmarks existentes costumam ser restritos em escopo e domínio. Apresentamos o Diplomatrix-BR, um novo benchmark baseado em redações do exame de admissão à carreira diplomática no Brasil (CACD), acompanhado de suas notas oficiais atribuídas por avaliadores humanos e de textos gerados por LLMs sobre os mesmos temas. Aplicamos uma variedade de métricas linguísticas e automáticas para comparar produções humanas e de modelos, oferecendo indícios sobre se LLMs são capazes de escrever com profundidade real ou se apenas simulam coerência por meio de fluência superficial. O Diplomatrix-BR estabelece as bases para a avaliação da geração em contextos de poucos recursos e de alta complexidade, ao mesmo tempo em que evidencia a fragilidade de métricas automáticas.
creator: Rodrigo Cavalcanti
creator: Gabriela Casini
creator: Gabriel Assis
creator: Livy Real
creator: Daniela Vianna
creator: Paulo Mann
creator: Aline Paes
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 192
ending page: 205
doi: 10.5753/stil.2025.37825

Improving Pun Detection with an Ensemble of Traditional Machine Learning Methods
type: item
description: Humor is a remarkably complex emotional process, defined as any object or event that causes laughter or amusement or is considered funny. Therefore, recognizing humor is considered one of the most challenging tasks in Natural Language Processing. In this paper, we approached the pun detection task for the Portuguese language. Puns are a form of wordplay that exploits multiple meanings of a term or similar-sounding words to create an intended humorous or rhetorical effect. Our strategy is straightforward: we trained and evaluated an ensemble learning approach of traditional machine learning models on PUNTUGUESE, a recent corpus of Portuguese puns. With this, we outperformed a BERT-based model by 11 p.p. in accuracy and achieved state-of-the-art results. More than that, we performed a detailed error analysis and found that our approach has limitations in identifying puns that contain neologisms.
creator: Jhúlia de Souza Leal
creator: Marcio Lima Inácio
creator: Hugo Gonçalo Oliveira
creator: Rafael Torres Anchiêta
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 206
ending page: 219
doi: 10.5753/stil.2025.37826

A sintaxe no tribunal: apresentando e explorando um corpus jurídico em português anotado sintaticamente segundo o modelo Universal Dependencies
type: item
description: Textos jurídicos representam um desafio para o campo do Processamento de Linguagem Natural, dada a complexidade e o estilo característicos desse tipo de texto. Neste artigo, contribuímos com o desenvolvimento dessa área para o português do Brasil em duas frentes. Primeiramente, apresentamos o PortJur, um novo corpus jurídico anotado sintaticamente de acordo com o modelo Universal Dependencies, resultando, para além do estudo linguístico relevante, em um recurso inédito para o português. Em seguida, exploramos o corpus anotado para criar recursos lexicais especializados, como listas de palavras de conteúdo, formas verbais, abreviaturas e estrangeirismos, e um almanaque de entidades nomeadas.
creator: Lucelene Lopes
creator: Maria das Graças V. Nunes
creator: Magali S. Duran
creator: Thiago A. S. Pardo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 220
ending page: 232
doi: 10.5753/stil.2025.37827

Learning with Few: A Comparative Study of Multilingual Text Anomaly Detection
type: item
description: Detecting anomalies in textual data is a critical task in domains such as content moderation, fraud detection, and risk monitoring. However, this remains challenging due to the semantic complexity of language and the scarcity of labeled anomalies in real-world scenarios. This paper presents a comprehensive benchmark study that integrates multiple perspectives: representation strategies, learning paradigms, and linguistic diversity. We evaluate unsupervised and semi-supervised models—including deep learning approaches—across datasets in both Portuguese and English. Additionally, we assess the impact of sentence embeddings, comparing multilingual encoders with language-specific models. Our findings show that representation choice and limited supervision strongly influence model performance in few-shot settings.
creator: Fabio Masaracchia Maia
creator: Anna Helena Reali Costa
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 233
ending page: 246
doi: 10.5753/stil.2025.37828

Evaluating RAG-based QA Systems: A Comparative Analysis of LLM as a Judge, Traditional Metrics, and Human Alignment
type: item
description: Evaluating RAG based Question Answering systems presents ongoing challenges, as traditional NLP metrics often inadequately capture nuanced answer quality and the reliability of LLM as a Judge paradigms requires further validation. This study comprehensively compares two distinct RAG QA systems on a domain-specific dataset from a consulting company. We investigate the efficacy and human alignment of LLM as a Judge configurations (Fine-Tuning and In-Context Learning) benchmarking them against NLP metrics and human evaluations. Results indicate that BERTScore is more indicative of semantic similarity than lexical-based metrics. For LLM as a Judge evaluations, Prometheus 2 using Pairwise Comparison demonstrated the strongest human alignment.
creator: Renato Miyaji
creator: Renato Moulin
creator: Samuel Monção
creator: Leonardo Machado
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 247
ending page: 258
doi: 10.5753/stil.2025.37829

PetroGeoNER: A Refined and Unified Dataset for NER in the Oil & Gas Domain
type: item
description: Named Entity Recognition (NER) is a task of Natural Language Processing (NLP) that deals with finding and categorizing relevant entities (i.e., word n-grams) in a text, assigning them to predefined semantic categories. The availability of annotated datasets is crucial for developing NER models and assessing their quality. This becomes an issue considering underrepresented languages and specific domains. Furthermore, the word-level annotation required by NER datasets is laborious and prone to inconsistencies. Aiming to contribute to more resources for Portuguese, this paper compiled PetroGeoNER, a NER dataset in the Oil & Gas domain. The process of creating our dataset involved unifying, revising, and solving inconsistencies in two existing datasets. PetroGeoNER was used to train accurate NER models. Both the models and the dataset were made publicly available.
creator: Higor Moreira
creator: Patricia Ferreira da Silva
creator: Renata Vieira
creator: Viviane Moreira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 259
ending page: 271
doi: 10.5753/stil.2025.37830

Towards a Corpus Methodology for LLMs in the Legal Domain
type: item
description: The creation of high-quality Question-Answer (QA) datasets is critical for developing reliable legal AI systems, yet a significant gap exists between intrinsic textual metrics and real-world model performance. This paper introduces an end-to-end framework to bridge this gap. We first present a refined methodology for generating a legal QA dataset (V2) based on the Brazilian Consumer Protection Code (Código de Defesa do Consumidor CDC), demonstrating its superiority over a baseline corpus using metrics such as MTLD and Shannon Entropy. We then assess its practical impact by fine-tuning a Qwen3-8B model with LoRA. The model’s performance is evaluated on a novel, expert validated 76 question multiple choice benchmark. Results show that the fine-tuned model achieves perfect accuracy on the benchmark and surpasses the base model across text generation metrics including BLEU, METEOR and BERTScore. Our work offers a reproducible methodology for legal dataset construction and validation, providing empirical evidence that improvements in data quality yield tangible gains in downstream legal reasoning tasks.
creator: Aline Athaydes
creator: Lucas B. Bulcão Mota
creator: Fernando Humberto de Almeida Moraes Neto
creator: Samuel Rios da Silva
creator: Babacar Mane
creator: Daniela Barreiro Claro
creator: Marlo Souza
creator: Andressa Beatriz Cardoso Lisboa
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 272
ending page: 282
doi: 10.5753/stil.2025.37831

Fine-tuned model evaluation on Transformer Fragments for Identifying Idiomatic Expressions in Portuguese
type: item
description: O presente trabalho aborda o desafio da identificação de Expressões Idiomáticas (EIs) em língua portuguesa, um problema cujo principal desafio está na não composicionalidade semântica e ambiguidade dessas estruturas. A escassez de dados anotados e limitações dos modelos em capturar a idiomaticidade motivaram a construção de um corpus anotado e a proposta de um método que se baseia no uso de fragmentos de Transformer para identificação das EIs em sentenças. O método utiliza pesos de atenção do modelo BERTimbau, focando em uma cabeça específica sensível a relações sintáticas relevantes em EIs e integra heurísticas linguísticas para penalizar usos literais. Os resultados demonstram alta precisão do método (1.0) sem falsos positivos, e uma revocação de 66,7%, resultado em uma pontuação de F1 de 0.8. Além disso o trabalho compara os resultados com métodos já utilizados na literatura de outros modelos de arquitetura BERT ajustados.
creator: Ricardo Gomes de Oliveira
creator: Laila Pereira Mota Santos
creator: Lílian Teixeira de Sousa
creator: Marcos Adriano Pereira dos Santos
creator: Daniela Barreiro Claro
creator: Rerisson Cavalcante de Araújo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 283
ending page: 294
doi: 10.5753/stil.2025.37832

Syntactic Analysis in Transformers through Attention Heads
type: item
description: The advances in Natural Language Processing (NLP) have led to the development of Transformer architectures, such as BERT. One of the most prominent features of this architecture is the attention mechanism. However, the application of attention mechanisms to languages other than English, like Brazilian Portuguese, remains underexplored. This work analyzes the attention heads in a Transformer architecture, considering the syntactic relations in a sentence. We analyze how attention patterns align with syntactic dependencies involving phenomena such as transitive verbs, reflexive pronouns, and subordinate clauses, as realized in Brazilian Portuguese. Results described the existence of specialized heads within arcs, such as subject–verb and verb–object. These findings open up new research opportunities to evaluate syntactic sensitivity in Transformer models and to contribute to the development of more linguistically informed models for Brazilian Portuguese.
creator: Ricardo Gomes de Oliveira
creator: Daniela Barreiro Claro
creator: Rerisson Cavalcante
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 295
ending page: 306
doi: 10.5753/stil.2025.37833

How Faithful Are Your Summaries? A Study of NLI-Based Verification in Portuguese
type: item
description: Abstractive summarization systems often generate content that is not supported by the source text, making faithfulness verification a critical evaluation step. In this paper, we investigate the reliability of Natural Language Inference (NLI) methods for detecting summary faithfulness in Portuguese. Our contribution is two-fold: (i) we introduce VERISUMM, the first large-scale dataset for summary faithfulness detection in Portuguese, and (ii) we benchmark several NLI-based approaches applied to faithfulness detection. Our experiments revealed that zero-shot models exhibit low to moderate performance and that fine-tuning improves results. However, our error analysis showed that NLI models rely heavily on lexical overlap heuristics, limiting their effectiveness.
creator: Felipe S. F. Paula
creator: Matheus Westhelle
creator: Maria Cecília M. Corrêa
creator: Luciana R. Bencke
creator: Viviane P. Moreira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 307
ending page: 322
doi: 10.5753/stil.2025.37834

Impacto do Idioma no Desempenho de Algoritmos de Classificação de Texto: Um Estudo entre Português e Inglês
type: item
description: Este estudo analisa a influência do idioma no desempenho de algoritmos de aprendizado de máquina em tarefas de classificação de textos. Foram utilizados dois corpora paralelos português-inglês, abrangendo análise de sentimentos e categorização temática de resumos científicos. Diversos algoritmos supervisionados foram avaliados sob diferentes configurações de pré-processamento. Os resultados indicam que não há variações significativas atribuídas exclusivamente ao idioma, indicando a robustez das técnicas frente à mudança linguística. Adicionalmente, constata-se que a tradução automática não compromete o desempenho, o que respalda sua adoção em cenários multilíngues.
creator: Jorge N. S. Pavão
creator: Kele Belloze
creator: Gustavo Guedes
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 323
ending page: 333
doi: 10.5753/stil.2025.37835

DEBISS-Arg: An In Depth Data Annotation Protocol and Corpus for Argument Mining in Semi Structured Debates
type: item
description: Argumentation plays a crucial role across various domains of human activity. However, its diverse applications present challenges in knowledge representation, leading to the development of numerous data models without a universally accepted standard. This lack of standardization complicates the creation of data and representation frameworks for argument annotation, which are essential for building high-quality datasets. This research addresses these limitations by proposing a comprehensive data annotation protocol specifically designed for argument mining in semi-structured debates. The protocol is applied to the newly introduced DEBISS-Arg corpus, which includes multiple annotation labels covering a range of argument mining tasks in Brazilian Portuguese.
creator: David Eduardo Pereira
creator: Daniela Thuaslar Simão
creator: Claudio E. C. Campelo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 334
ending page: 348
doi: 10.5753/stil.2025.37836

A Música Brasileira na Ditadura Militar: uma análise de tópicos com BERTopic e GSDMM
type: item
description: Durante a ditadura militar no Brasil, artistas recorreram à música como forma de expressão, valendo-se de uma linguagem poética e metafórica. Nesse contexto, a análise sociopolítica dessas letras apresenta-se como um desafio interpretativo. Este trabalho busca analisar letras de músicas brasileiras lançadas durante este período, utilizando BERTopic e GSDMM para modelagem de tópicos, a fim de identificar temas-chave que refletem aspectos sociais, políticos e históricos do período. Os modelos analisados revelaram uma linguagem simples e cotidiana, com pouco uso de vocabulário erudito ou político, sugerindo que os artistas optaram por uma expressão direta e emocional, possivelmente para ampliar o diálogo com o público. Particularmente, o BERTopic destacou-se por mapear a diversidade temática com pouca redundância, enquanto o GSDMM segmentou temas dominantes em subtópicos altamente coesos. Este trabalho mostra como a música brasileira, por meio de uma linguagem poética e acessível, retratou o cotidiano da época e revelou o potencial da modelagem de tópicos como ferramenta para a análise cultural.
creator: Henry R. Piceni
creator: Pedro V. Alexandre
creator: Dennis G. Balreira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 349
ending page: 360
doi: 10.5753/stil.2025.37837

CROSSAGE: A cross-attentional graph and Transformer architecture for skill and knowledge recognition in job descriptions
type: item
description: A extração automática de habilidades e conhecimentos a partir de descrições de vagas apoia o recrutamento, a requalificação e a análise do mercado de trabalho, mas modelos tradicionais de NER enfrentam dificuldades com spans ambíguos e sintaticamente complexos. Este trabalho propõe o CROSSAGE, uma arquitetura híbrida leve que combina embeddings contextuais de Transformers com características estruturais de grafos de dependência por meio de atenção cruzada. Os resultados no dataset SKILLSPAN mostram que o CROSSAGE (JobSpanBERT) atinge o maior F1 para entidades do tipo SKILL (49,8), enquanto o CROSSAGE (BERT) iguala a melhor baseline para KNOWLEDGE (64,1) e melhora o recall (68,8). Os ganhos são especialmente notáveis em domínios complexos como house, onde o CROSSAGE alcança 51,5 de F1 para SKILL. Esses achados destacam o potencial do CROSSAGE como uma alternativa eficaz a modelos híbridos mais pesados.
creator: Antônio dos Santos Ramos Neto
creator: João Paulo Felix
creator: Wylliams Santos
creator: Byron Leite Dantas Bezerra
creator: Cleyton Mário de Oliveira Rodrigues
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 361
ending page: 373
doi: 10.5753/stil.2025.37838

Restauração de Pontuação em Textos Traduzidos no Idioma pt-BR a partir de Transcrição de Áudios
type: item
description: Este trabalho propõe um modelo para restaurar automaticamente a pontuação em textos coloquiais em português do Brasil, originados de transcrições de áudio, com foco na melhoria da legibilidade e usabilidade em tarefas de PLN. A metodologia envolve duas etapas principais: treinamento e inferência. Utiliza-se o corpus IWSLT (2014–2016), que contém transcrições de palestras TED traduzidas, e um modelo híbrido com Bi-LSTM, self-attention e CRF. O pré-processamento inclui mapeamento de sinais, construção de vocabulário, embeddings GloVe e rede highway. Quatro cenários de avaliação foram aplicados, revelando que a combinação dos dados dos três anos gera os melhores resultados, com melhorias progressivas nas métricas de precisão, recall e F1-score.
creator: Angel G. de S. Sales
creator: Brenda C. D. Moura
creator: José E. B. de S. Linhares
creator: Fabiann M. D. Barbosa
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 374
ending page: 384
doi: 10.5753/stil.2025.37839

Adapting ASR Models to Technical Scenarios: A Case Study in the Brazilian Automotive Repair Domain
type: item
description: This work proposes a pipeline for adapting automatic speech recognition models to the domain of automotive repair shops in Brazilian Portuguese. The process includes real data collection, manual transcription, and dataset curation, with adjustments to the Conformer, and Wav2Vec 2.0 models, while Whisper model served as a comparative baseline. The approach aims to improve speech recognition accuracy in noisy environments with specific technical vocabulary. The Conformer model achieves the best results, with a word error rate of 12.97 percent and a character error rate of 5.46 percent, surpassing the Whisper Large-v3 in both transcription accuracy and inference speed.
creator: Daniel Ribeiro da Silva
creator: Maria Eduarda Silva Borba
creator: Gustavo dos Reis Oliveira
creator: Pedro Reis Pimenta
creator: Állan Christoffer Pereira Silva
creator: Guilherme Correia Dutra
creator: Sávio Salvarino Teles de Oliveira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 385
ending page: 396
doi: 10.5753/stil.2025.37840

Evaluation of an NLP-Based Chatbot for Informational Support in Bronchopulmonary Dysplasia (BPD) in neonates
type: item
description: Bronchopulmonary Dysplasia (BPD) is a chronic lung condition that affects neonates, especially those born prematurely. Despite its relevance, the lack of accessible and up-to-date information hampers the proper management of this condition for both families and healthcare professionals. This study proposes the development of a chatbot based on Natural Language Processing (NLP) technique, named Soprinho IA, to provide informational and empathetic support to both mothers and healthcare professionals, focusing on BPD information. The methodology involves data collection from various sources, text preprocessing, and training of three different NLP architectures, such as Recurrent Neural Networks (RNNs), transformers, and other state-of-the-art approaches. The Sentence-Transformer model, based on BERT, achieved the best results, with high accuracy and semantic relevance. The chatbot is integrated into a responsive web interface, offering multimodal interaction features, including audio support. The evaluation of the models demonstrated the chatbot’s effectiveness in providing contextualized and easily understandable responses, with potential to improve communication and the management of neonates with BPD. The study also highlights limitations, such as the need to improve speech-to-text conversion, and suggests future directions for the integration of AI models to support clinical decision-making.
creator: Anna Beatriz Silva
creator: Cleyton Mario de Oliveira Rodrigues
creator: Patricia Takako Endo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 397
ending page: 406
doi: 10.5753/stil.2025.37841

Gender Bias in Portuguese Literary Texts: A Masked Language Model Approach
type: item
description: In this work, we investigate how a corpus of Portuguese literary texts shapes the gender bias of a language model using a masked language modeling approach. We fine-tune a BERT-based model on a curated corpus of 592 literary works and analyze gender associations in adjective and verb predictions. Our results show that fine-tuning shifts gender associations: female-denoting targets showed a significant reduction in negative associations, while male-denoting targets retained a negative bias. For verbs, gender disparities decrease, though male subjects retain stronger links to intellectual/work-related verbs. These findings highlight how literary texts can shape gender representations in language models, reinforcing or reshaping biases based on training data.
creator: Mariana O. Silva
creator: Michele A. Brandão
creator: Mirella M. Moro
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 407
ending page: 419
doi: 10.5753/stil.2025.37842

Techniques for Dealing with Imbalanced Data: A Systematic Literature Review
type: item
description: This systematic review of the literature addresses techniques employed to address the problem of data imbalance. A variety of articles were analyzed, exploring strategies such as under-sampling, oversampling, and their combinations to address asymmetry in class distributions. Sensitive metrics, including recall, precision, and F1 score, emerge as crucial in imbalanced contexts. The studies reveal the challenges in selecting appropriate strategies and underscore the importance of adaptive approaches. Innovative solutions, such as adaptive combinations of techniques and integration with specific algorithms, are discussed. The ongoing need for research to address the specific challenges of data imbalance is highlighted.
creator: Leandro O. da Silva
creator: Daniela L. Freire
creator: Márcio P. Basgalupp
creator: André C. P. L. F. de Carvalho
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 420
ending page: 428
doi: 10.5753/stil.2025.37843

GolpeBR: Construction and Validation of an Annotated Dataset on Banking Scams and Fraud
type: item
description: This article details the construction and validation of the GolpeBR dataset, which was created from news articles and Reddit posts. Automated Python methods were used to extract and process the data, which was then annotated using the Deepseek-R1 LLM and the 5W1H methodology. A cybersecurity expert classified and validated the records, distinguishing between banking cybercrimes and unrelated crimes. For the dataset's validation, supervised learning algorithms were applied. It was found that models trained with data structured by the 5W1H methodology demonstrated better accuracy, reaching 0.83 for the Logistic Regression and Random Forest algorithms.
creator: Tamyres Vial de Souza
creator: Jhonata Tirloni
creator: Felipe Belo
creator: Nelcileno Virgilio Araujo
creator: Thiago M. Ventura
creator: Allan Gonçalves de Oliveira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 429
ending page: 440
doi: 10.5753/stil.2025.37844

Meta4BR: Avaliando a Fidelidade Metafórica em Traduções de Metáforas para o Português por LLMs
type: item
description: Metáforas são elementos fundamentais na comunicação humana, permitindo uma expressão nuançada e uma compreensão conceitual mais profunda. No entanto, a maioria das pesquisas em detecção de metáforas concentra-se em corpora e modelos para o inglês. A capacidade dos Grandes Modelos de Língua (LLMs) em processar linguagem metafórica em outros idiomas permanece pouco explorada. Este estudo investiga se metáforas podem ser preservadas e anotadas por meio da tradução. Com foco no português brasileiro, adotamos um pipeline baseado em retrotradução e comparação, utilizando múltiplos LLMs. Com base em métricas automáticas e avaliação humana, resultados sugerem a viabilidade de traduzir metáforas conceituais e linguísticas. Os achados apontam que recursos de metáforas podem ser construídos a partir de fluxos de tradução. No entanto, permanecem desafios, especialmente a necessidade de validação manual extensiva e os riscos de viés cultural e mudança semântica.
creator: Luisa Stellet
creator: Isabella Leite
creator: Gabriel Assis
creator: Aline Paes
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 441
ending page: 454
doi: 10.5753/stil.2025.37845

Evaluating Large Language Models through Multidimensional Item Response Theory: A Comprehensive Case Study on ENEM
type: item
description: LLM evaluations on tasks like high-stakes multidisciplinary tests still rely on raw accuracy, a metric that weights easy and difficult questions equally and ignores guessing. To help bridge this methodological gap, we repurpose the official three-parameter logistic Item Response Theory (IRT) calibration that the Brazilian education authority (INEP) uses to score humans on the Exame Nacional do Ensino Médio (ENEM), and apply it to LLM responses. We then fit a four-dimensional 3-PL model aligned with ENEM’s knowledge domains. Results show that similar accuracies can mask proficiency gaps exceeding one standard deviation across domains. Mathematics remains the toughest domain for both humans and models, whereas questions on Human Sciences are systematically easier for both.
creator: Leonardo Taschetto
creator: Renato Fileto
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 455
ending page: 466
doi: 10.5753/stil.2025.37846

From Zero-shot to Self-generated References: Leveraging LLMs for Scoring ENEM Essays
type: item
description: This study investigates the application of Large Language Models (LLMs) to Automated Essay Scoring (AES) in the context of Brazil’s Exame Nacional do Ensino Médio (ENEM). We evaluate five state-of-the-art LLMs across three prompting scenarios: zero-shot, one-shot (with high-score references), and a novel self-generated reference approach, where the model generates its own ideal reference before evaluation. Using the Essay-BR corpus, we assess performance using both classification and regression metrics. Results show that one-shot prompting consistently yields the best metrics, while the self-generated reference method presents a viable alternative when no real references are available. Our findings highlight the promise of LLMs for educational scoring.
creator: Matheus Yasuo Ribeiro Utino
creator: Paulo Mann
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 467
ending page: 477
doi: 10.5753/stil.2025.37847

Corpus Memórias Paroquiais: Avanços em Reconhecimento de Entidades
type: item
description: Este artigo aborda os avanços recentes em REN no contexto do corpus Memórias Paroquiais. O corpus foi enriquecido com anotações adicionais que introduzem categorias dedicadas à fauna e flora. Além disso, é discutido um estudo sobre a adaptabilidade do modelo para lidar com dados originais sem normalização.
creator: Renata Vieira
creator: Helena Cameron
creator: Fernanda Olival
creator: Joaquim Santos
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 478
ending page: 489
doi: 10.5753/stil.2025.37848

A Moving Target: Detecting Concept Drift in Brazilian Portuguese Fake News
type: item
description: Static fake news detectors trained on offline data degrade over time due to concept drift, an understudied phenomenon outside English. This paper presents the first large-scale analysis of concept drift in Brazilian Portuguese fake news. Combining statistical two-sample tests, semantic similarity, and nonparametric change point detection, we quantify the presence and impact of drift, providing explainability by identifying points in time where shifts occur. Our results reveal significant shifts in topical and semantic patterns, demonstrating that model performance can degrade considerably when trained on older data. These findings prove the critical need for adaptive, time-aware methods, and the curation of temporally diverse datasets to build robust defenses against online misinformation in Brazilian Portuguese. The source code for our experiments is publicly available at https://github.com/GDSMN/STIL2025_conceptdrift.
creator: Manuela Guedes Wanderley
creator: Lucca Baptista Silva Ferraz
creator: Tiago Agostinho Almeida
creator: Renato Moraes Silva
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 490
ending page: 501
doi: 10.5753/stil.2025.37849

Empirical Evaluation of Preprocessing and Balancing Techniques Impact Across Algorithm-Vectorizer Combinations in Sentiment Classification
type: item
description: This study systematically evaluates the individual impact of six commonly applied preprocessing techniques on sentiment classification performance using 14,224 Steam reviews. Each technique was assessed across four algorithms (SVC, Random Forest, TextBlob, VADER) and three vectorization approaches (TF-IDF, Count Vectorizer, Hashing Vectorizer). Results reveal significant variability in preprocessing effectiveness: four consecutive stages (HTML cleanup, emoji removal, number elimination, punctuation normalization) produced identical results, indicating redundancy for this corpus. Stop word removal and stemming showed mixed effects depending on algorithm-vectorizer combinations. Machine learning approaches demonstrated different sensitivity patterns compared to lexicon-based methods. SVC with TF-IDF showed consistent performance across preprocessing stages. These findings challenge assumptions about universal preprocessing benefits and emphasize the importance of empirical validation for specific domains and algorithm combinations.
creator: Nathanael Motta
creator: Ana Claudia Maria de Souza
creator: Carlo Marcelo Revoredo da Silva
creator: Cleyton Mario de Oliveira Rodrigues
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 502
ending page: 511
doi: 10.5753/stil.2025.37850

Análise de tópicos e sentimentos em cartas indígenas brasileiras
type: item
description: Este artigo apresenta resultados preliminares de uma análise computacional de sentimentos e palavras-chave em um corpus de mais de 1500 cartas indígenas brasileiras. Utilizamos modelos de linguagem pré-treinados para detectar polaridade afetiva e extrair termos representativos dos textos, com o objetivo de explorar a viabilidade de soluções de verificação de narrativas culturalmente sensíveis. Os resultados sugerem padrões coerentes entre temas e emoções, revelando também limitações técnicas atuais.
creator: Caio Almeida
creator: Renata Vieira
creator: Débora Abdalla
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 512
ending page: 518
doi: 10.5753/stil.2025.37851

Modelo de Classificação Automática de Frases Faladas com Abordagem em Redes Neurais Convolucionais
type: item
description: O artigo apresenta um modelo de classificação automática de frases faladas para o português utilizando redes neurais convolucionais (CNNs). A metodologia envolve a análise de espectrogramas MFCCs como entrada para a CNN. Os resultados do modelo foram analisados em termos de precisão, recall, f-score e acurácia para diferentes categorias. O estudo conclui que, embora o modelo se mostre com desempenho promissor em algumas classificações, ele ainda apresenta desafios significativos na identificação de frases canônicas e anti topicalizadas, necessitando de mais dados de áudios e ajustes futuros.
creator: Cid Ivan C. Carvalho
creator: Francisca Ticiany B. L. Oliveira
creator: Vitória Maria A. Silva
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 519
ending page: 525
doi: 10.5753/stil.2025.37852

Estratégias de modelização de dicionários latim-português como Linked Open Data
type: item
description: Este artigo apresenta o processo de incorporação dos dados de três dicionários bilíngues latim-português à LiLa Knowledge Base, uma base de recursos linguísticos interoperáveis voltados para o latim. O foco recai sobre como a informação extraída dos dicionários é representada através domodelo OntoLex-Lemon e descreve as estratégias utilizadas para preservar o texto original, dado seu interesse histórico. O processo de interligação das entradas ao LiLa Lemma Bank é descrito em detalhes. O resultado é a primeira coleção de recursos lexicais latim-português dotada de interoperabilidade com os (meta)dados dos demais recursos linguísticos conectados à LiLa Knowledge Base.
creator: Lucas Consolin Dezotti
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 526
ending page: 533
doi: 10.5753/stil.2025.37853

Frame-Based Semantic Representation and Similarity Analysis in Audio Description Scripts
type: item
description: We present a semantic similarity analysis between two versions of audio description scripts for a Brazilian short film, based on Frame Semantics and the FrameNet Brasil annotation model. Our study applies manual frame-based semantic annotation, identifying lexical units, frames, and frame elements. A similarity metric combining spread activation and cosine similarity is employed to measure semantic overlap, showing that variations in frame evocation reflect different narrative and descriptive choices across scripts. This work demonstrates how frame-based models can capture semantic overlap and divergence in multimodal translation tasks such as audio description.
creator: Maucha Andrade Gamonal
creator: Adriana Silvina Pagano
creator: Tiago Timponi Torrent
creator: Ely Edison Matos
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 534
ending page: 541
doi: 10.5753/stil.2025.37854

Use of Embodied Conversational Agents to Engage Visitors in Art Exhibits
type: item
description: The rapid advancement of Artificial Intelligence presents new opportunities and challenges across numerous fields. This paper explores the application of Embodied Conversational Agents in art galleries as a means to enhance visitor engagement. We propose a general system architecture for developing such an agent and describe the implementation of an interactive exhibit based on the painting ”Cabeça de Mulato” by Candido Portinari. Preliminary results from logged visitor interactions indicate that ECAs can indeed foster meaningful engagement in cultural settings.
creator: José Fernando R. Ferreira Neto
creator: Daniel M. Colares
creator: Daniel Ribeiro
creator: Yuri Nekan S. Fontes
creator: Vladia Pinheiro
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 542
ending page: 548
doi: 10.5753/stil.2025.37855

Classificação de Notícias Falsas na Língua Portuguesa Utilizando Modelos Baseados na Arquitetura Transformer
type: item
description: A rápida expansão do uso da internet e das redes sociais tem contribuído para a disseminação das chamadas “Fake News” (Notícias Falsas). As proporções que esse fenômeno tomou sugerem a existência de uma lacuna no combate à desinformação. Assim, este trabalho tem como objetivo empregar modelos de classificação baseados na arquitetura das redes neurais Transformer na tarefa de classificação de notícias falsas em textos escritos na língua Portuguesa. Para isso, três modelos distintos foram desenvolvidos: (1) Encoder-Only, (2) Decoder-Only e (3) Transformer (Encoder-Decoder); todos treinados sobre um mesmo conjunto de dados oriundo da união de dois corpora. Ademais, foram analisados alguns modelos pré-treinados e comparados seus resultados com os dos modelos propostos neste artigo. Em suma, todos os modelos Transformer desenvolvidos apresentaram desempenho superior, com destaque para o modelo Encoder-Only, que obteve valores de acurácia e precisão superiores a 96,7%.
creator: Lucas G. Pellegrini
creator: Fernanda M. C. Santos
creator: Felipe H. S. Cantarino
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 549
ending page: 556
doi: 10.5753/stil.2025.37856

Anotação de Narrativas Clínicas de acordo com as diretrizes das Dependências Universais
type: item
description: Este é um estudo em andamento sobre Processamento de Língua Natural de um corpus de Narrativas Clínicas em português brasileiro com duas versões anotadas: uma pela máquina e outra por humanos. A frequência dos rótulos das classes de palavras e das relações de dependência dos tokens em cada versão é calculada e uma análise guiada pelo corpus é realizada, destacando as correções feitas pelos humanos nas anotações da máquina. A comparação dessas anotações permite a criação de treebanks que podem ser usados para treinar novos modelos usando técnicas de aprendizado de máquina e para aprimorar diversas aplicações de Processamento de Língua Natural com corpus da área biomédica. Além disso, essa comparação permite a análise da consistência teórica de anotação, a fim de identificar o sistema gramatical desse tipo de corpus e criar guias de anotação para Narrativas Clínicas em português brasileiro de acordo com as Dependências Universais.
creator: Adriana Pagano
creator: Carlos A. S. Perini
creator: Cláudia Benevenute
creator: Cristiano Colombo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 557
ending page: 563
doi: 10.5753/stil.2025.37857

The Zé Lensky Dataset: A Brazilian Portuguese Twitter Corpus for Russo-Ukraine War Stance and Sentiment Analysis
type: item
description: This paper presents a work-in-progress corpus of over 200,000 Brazilian Portuguese tweets related to the Russia-Ukraine war, collected between 2022 and 2025. The dataset includes metadata and annotations for stance and irony, with particular attention to partisan and culturally specific expressions such as “zé lensky”, which we hypothesize indicate processes of sociolinguistic enregisterment in partisan speech. This resource enables further exploration of political discourse in Brazilian social media and supports future studies on narrative dynamics, user behavior, and informal political language. The dataset is available on GitHub.
creator: Andreis G. M. Purim
creator: Kārlis Kuškēvics
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 564
ending page: 571
doi: 10.5753/stil.2025.37858

Towards Prompt Engineering and Large Language Models for Post-OCR correction in handwritten texts
type: item
description: This work explores the use of Large Language Models (LLMs) for post-OCR spelling correction in full sentences across Portuguese, French, and English. Using outputs from a state-of-the-art recognition model on the BRESSAY, RIMES, and IAM datasets, we evaluated two different zero-shot prompts. Closed LLMs, such as Gemini and GPT series, consistently outperform open-source models in reducing Character Error Rate (CER) and Word Error Rate (WER), while also offering faster inference. Despite the good accuracy of open models, their high computational demands hinder their practical use. Code is available at https://github.com/savi8sant8s/zero-shot-spelling-corrector.
creator: Sávio Santos de Araújo
creator: Byron Leite Dantas Bezerra
creator: Arthur Flor de Sousa Neto
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 572
ending page: 579
doi: 10.5753/stil.2025.37859

DEBISS: a Corpus of Individual, Semi-structured and Spoken Debates
type: item
description: Debating is essential in daily life — whether in academic or professional settings, casual conversations, political forums, or online discussions. The range of debate applications is broad; therefore, their structures and formats can vary significantly. Developing corpora that account for these variations is challenging. The scarcity of debate corpora in the current state of the art, particularly for other languages beyond English, is notable. For this reason, this research proposes the DEBISS corpus, a collection of spoken and individual debates in Portuguese with semi-structured features. The corpus has broad applicability across Natural Language Processing tasks, including speech-to-text, speaker diarization, argument mining, and debate quality evaluation.
creator: Klaywert Danillo Ferreira de Souza
creator: David Eduardo Pereira
creator: Cláudio E. C. Campelo
creator: Larissa Lucena Vasconcelos
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 580
ending page: 587
doi: 10.5753/stil.2025.37860

Universal Dependencies for 19th-Century Nheengatu from the Lower Amazon Region
type: item
description: We present the morphosyntactic annotation of Nheengatu as spoken in the 19th century in the Lower Amazon region. The annotated data expand the UD Nheengatu-CompLin treebank, the first for Nheengatu in the Universal Dependencies project, by incorporating forms and syntactic patterns characteristic of that region and time. We describe the corpus source, the orthographic normalization process, and the main annotation strategies used. So far, 345 sentences have been annotated, with 310 already integrated into the current version of the treebank. This historical data annotation enhances the lexical and morphosyntactic coverage, supporting the documentation and computational modeling of Nheengatu.
creator: Dominick Maia Alexandre
creator: Leonel Figueiredo de Alencar
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 588
ending page: 598
doi: 10.5753/stil.2025.37861

VerboWeb 3.0: Decoding Verb Behavior in Brazilian Portuguese – From Lexical Semantics to Web-Verified Syntactic Patterns
type: item
description: This paper introduces VerboWeb 3.0, a lexical-semantic and syntactic database of Brazilian Portuguese verbs. Building on previous releases, it catalogs over 2,000 lemmas and about 20,000 examples (in progress), organized into seven semantic categories and more than 65 classes. Each class is validated against web-attested sentences to ensure accuracy. A key innovation is flexible granularity, allowing verbs to belong to multiple overlapping classes. Classes have been reorganized to better reflect the structure of the BP verbal system. The user interface has been redesigned for intuitiveness and accessibility. VerboWeb 3.0 supports theoretical linguistics through argument structure analysis, provides training data for NLP tasks, and aids education by facilitating the creation of language exercises.
creator: Márcia Cançado
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 599
ending page: 607
doi: 10.5753/stil.2025.37862

DANTEStocks-AMR em Construção: Avanços e Desafios na Anotação Semântica de Tweets Financeiros
type: item
description: O formalismo Abstract Meaning Representation (AMR) é amplamente utilizado no Processamento de Língua Natural (PLN) para representar o significado de enunciados em grafos orientados. Este trabalho se insere na tarefa pioneira de anotação do corpus DANTEStocks-AMR, composto por 4.048 tweets do mercado financeiro já anotados com Universal Dependencies (UD). Os grafos estão sendo construídos de forma semiautomática, com adaptações das diretrizes originais do inglês e daquelas já definidas para o português às especificidades do corpus, com apoio da anotação-UD. O artigo discute características do corpus que exigiram ajustes no modelo AMR, e apresenta estatísticas do DANTEStocks-AMR (v.1), com um 1/4 dos tweets anotados.
creator: Gabriel Ceregatto
creator: Ariani Di Felippo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 608
ending page: 617
doi: 10.5753/stil.2025.37863

Aspectos do desenvolvimento de um etiquetador morfossintático da língua Asuriní do Trocará
type: item
description: Este artigo aborda a preservação das línguas indígenas e o desenvolvimento de ferramentas de Processamento de Linguagem Natural (PLN) para análise linguística, com foco na língua Asuriní do Trocará. Com base em um corpus compilado, a pesquisa implementou um etiquetador morfossintático computacional para identificar argumentos e predicados na língua. Nesta pesquisa, foram explorados padrões linguísticos, etiquetagem manual e processamento de dados com Python. Após avaliação, o etiquetador foi submetido ao cálculo do F-Score, sugerindo a necessidade de otimização futura.
creator: Izabel Nunes Dias
creator: Thiago Blanch Pires
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 618
ending page: 626
doi: 10.5753/stil.2025.37864

Análise da Anotação de Negação em Corpora sob as Diretrizes da Universal Dependencies
type: item
description: Este trabalho analisa a anotação da negação no português segundo as diretrizes da Universal Dependencies (UD). A partir da revisão de operadores negativos e preposições de exclusão nos corpora UD Portuguese Bosque, Porttinari-base e na ferramenta PortiLexicon-UD, identificamos inconsistências na marcação de atributos morfológicos e relações sintáticas. Propomos ajustes que tornam a anotação mais precisa e consistente, contribuindo para tarefas de PLN como análise de sentimento, extração de informação e tradução automática.
creator: Isaac Souza de Miranda Jr.
creator: Oto Araújo Vale
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 627
ending page: 634
doi: 10.5753/stil.2025.37865

Elevação de sujeito e objeto da completiva-sujeito de adjetivos em português do Brasil
type: item
description: Descrevem-se dois tipos de reestruturação de completiva-sujeito de adjetivo em português do Brasil: elevação de sujeito (Que João faça isso é bacana / João é bacana em fazer isso) e elevação de objeto (Fazer isso é incomum / Isso é incomum de se fazer). A formação e a extensão desse fenômeno são descritas a partir de uma lista dos lemas de adjetivos mais frequentes em um corpus. Observou-se que os adjetivos que aceitam elevação de sujeito formam um subconjunto, composto principalmente por adjetivos de comportamento e avaliativos, dos que aceitam elevação de objeto.
creator: Ryan Saldanha Martinez
creator: Jorge Baptista
creator: Oto Araújo Vale
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 635
ending page: 644
doi: 10.5753/stil.2025.37866

O Obstáculo das Ambiguidades Estruturais da Língua para Modelos de Linguagem Linguisticamente Motivados
type: item
description: Este artigo apresenta o UDCode, uma convenção para a codificação de informações morfossintáticas e de dependência da Universal Dependencies. O objetivo é avaliar como a granularidade das anotações da UD para o português brasileiro impacta o reconhecimento de entidades mencionadas de tempo. Testes exploratórios revelaram que a subdeterminação na categorização de advérbios compromete a precisão, gerando alta taxa de falsos positivos. O resultado evidencia que a eficácia de um modelo linguisticamente motivado depende do nível de detalhe das anotações. Conclui-se que trabalhos futuros devem focar na revisão das diretrizes de anotação para incluir categorias adverbiais mais refinadas ou em métodos que compensem essa falta de especificidade.
creator: João Pedro Gonçalves Munhoz
creator: Oto Araújo Vale
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 645
ending page: 653
doi: 10.5753/stil.2025.37867

Named Entities in Stock Market Tweets: A Fine-Grained and Linguistically-Motivated Annotation
type: item
description: This work provides a second look at the Named Entity annotation of DANTEStocks – a corpus of stock market tweets in Portuguese – offering an in-depth analysis of the linguistic decisions involved in creating a gold-standard annotation tailored to this genre and domain. Our methodology builds on the guidelines of the Second HAREM evaluation, extending and reinterpreting them to the adopted genre and domain. The article furnishes then an analysis of the linguistic phenomena that challenge to this task, proposes specific strategies for entity delimitation and classification, and presents a linguistic characterization of the corpus based on the class distribution that resulted from the annotation.
creator: Laís Piai
creator: Ariani Di-Felippo
creator: Norton Trevisan Roman
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 654
ending page: 663
doi: 10.5753/stil.2025.37868

A oposição nas relações de coerência Contrast e Concession
type: item
description: As relações de coerência Contrast e Concession compartilham o mesmo efeito de oposição. Apesar disso, segundo os estudos com base na Rhetorical Structure Theory (RST), há características que as definem individualmente, como a estrutura e a intencionalidade do escritor/falante. Neste trabalho, investigou-se mais detidamente o comportamento dessas relações em um corpus jornalístico pré-anotado tanto com as relações de coerência quanto com os sinalizadores discursivos (SDs) que as identificam. Os resultados corroboram e especificam a diferença na estrutura dessas relações, além disso, são apresentados seus pontos de encontro, dentre os quais se destaca o compartilhamento de SDs, sobretudo no que se refere ao uso de conectivos.
creator: Marquize Silva dos Santos
creator: Roana Rodrigues
creator: Jackson Wilke da Cruz Souza
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 664
ending page: 672
doi: 10.5753/stil.2025.37869

Corpus-driven lexical analyses of CorCel: a comparative analysis of preliminary findings of written proficiency in Portuguese as an additional language
type: item
description: This paper aims to comparatively analyze research on CorCel [Schoffen et al. , forthcoming] a corpus of written texts produced under exam conditions for the Celpe-Bras exam. It compares studies that examined tasks using Sketch Engine’s keywords, wordlist, n-grams and concordance tools. These studies also analyzed text length and lexical richness using lexical diversity indices. The comparative study showed relevant lexical indexes for characterizing the exam proficiency levels, such as text length, and important differences in the use of input material and other linguistic resources among texts rated with different grades. Such analyses offer new possibilities for research in Portuguese as an additional language (PAL) proficiency assessment and teaching.
creator: Elisa Marchioro Stumpf
creator: Juliana Schoffen
creator: Luiza Sarmento Divino
creator: Isadora Dahmer Hanauer
creator: Amanda Raupp
creator: Brenda Xavier
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 673
ending page: 681
doi: 10.5753/stil.2025.37870

Extração de Eventos em Notas Clínicas
type: item
description: Extração de Eventos (EE) é a tarefa de identificar e extrair informações de eventos em um texto livre. Devido à grande quantidade de fontes de texto não estruturado, a área da saúde pode se beneficiar da EE para facilitar a interpretação de registros clínicos e mitigar erros médicos. Neste trabalho apresentamos o EEVIN (Extrator de EVentos clÍNicos), um algoritmo para a extração de eventos ordenados cronologicamente a partir de textos clínicos escritos em português brasileiro. A solução foi comparada com Large Language Models (LLMs) do estado da arte e obteve resultados significativos com custo computacional mais baixo.
creator: João Augusto F. Balducci
creator: Saullo H. G. de Oliveira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 682
ending page: 687
doi: 10.5753/stil.2025.37871

Avaliando Ferramentas de IA Generativa no Conjunto de Perguntas e Respostas da Receita Federal
type: item
description: Os modelos de linguagem de grande escala (LLMs) revolucionaram a aquisição virtual de informações. Os LLMs são amplamente utilizados em diferentes tarefas, dada sua facilidade de manuseio e alcance de tópicos. Todavia, não é possível garantir precisão na aprendizagem dos modelos acerca de questões escassamente documentadas, mesmo em se tratando de problemáticas relevantes ou úteis ao seu conhecimento, tal como a declaração de imposto de renda no Brasil. Este trabalho então avalia a coerência de respostas trazidas por essas ferramentas generativas e para isso lhes foram submetidas as perguntas mais frequentes no tema. Assim, os resultados revelam que os LLMs comerciais são convenientes para combater dúvidas sobre a DIRPF.
creator: Erick de Brito
creator: Matheus Teotonio
creator: Roberto Lotufo
creator: Jayr Pereira
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 688
ending page: 692
doi: 10.5753/stil.2025.37872

Analisando o Fine-Tuning para Transferência de Conhecimento entre Línguas: um estudo para a Língua Portuguesa
type: item
description: Grandes Modelos de Linguagem (LLMs) desempenham um papel central no cenário moderno de PLN, devido aos seus consistentes bons resultados em muitas tarefas na literatura. No entanto, o treinamento desses modelos envolve altos custos associados. Devido à escassez de dados necessários para tarefas em idiomas com poucos recursos, a literatura tem proposto o uso de tecnologia multiĺıngue combinada com técnicas de transferência de conhecimento entre ĺınguas. Esta pesquisa explora o fine-tuning de modelos para transferência de conhecimento entre ĺınguas para o português, em diversas tarefas, avaliando os trade-offs entre quantidade de dados, recursos computacionais, tempo de treinamento e desempenho do modelo.
creator: Yuri Hughes
creator: Marlo Souza
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 693
ending page: 697
doi: 10.5753/stil.2025.37873

Sumarização de opinião multidocumento para o português: comparando um método baseado em grafo com um LLM
type: item
description: Neste artigo, exploramos um método baseado em grafo para sumarização de opinião multidocumento para o português. O método, que consiste em uma versão atualizada do conhecido Opinosis (Ganesan et al., 2010), tem seus resultados comparados aos produzidos por um grande modelo de língua, o Mistral, ao realizar a mesma tarefa para um pequeno corpus.
creator: Gustavo Sampaio Lima
creator: Davi Fagundes Ferreira da Silva
creator: Thiago Alexandre Salgueiro Pardo
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 698
ending page: 702
doi: 10.5753/stil.2025.37874

Da criação de um Corpus ao treinamento de um grande modelo de linguagem: O que pode dar errado em uma IC?
type: item
description: Este artigo apresenta a experiência de uma iniciação cient́ıfica voltada ao desenvolvimento de um chatbot especializado em direito do consumidor. Um dos principais desafios enfrentados foi a criação de um conjunto de dados sintético para permitir o ajuste fino de um modelo de linguagem. Ao longo do processo, diversas dificuldades técnicas e metodológicas foram identificadas, desde a coleta e estruturação dos dados até o treinamento do modelo. O objetivo deste trabalho é relatar essas dificuldades, destacando a importância do erro como parte do processo de aprendizagem cient́ıfica e refletindo sobre os aprendizados obtidos na construção de sistemas jurídicos baseados em IA.
creator: Lucas B. Bulcão Mota
creator: Aline Athaydes
creator: Babacar Mane
creator: Daniela Barreiro Claro
creator: Marlo Souza
creator: Fernando Humberto
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 703
ending page: 707
doi: 10.5753/stil.2025.37875

Compilação, modernização e anotação morfossintática de um corpus histórico do nheengatu segundo o modelo das Dependências Universais
type: item
description: Este trabalho apresenta a compilação, a adaptação ortográfica e a anotação morfossintática da variante do nheengatu falada na região do rio Solimões no século XIX. O nheengatu, única língua viva descendente do tupi antigo, assim como muitas línguas minoritárias, não dispunha de corpora anotados sintaticamente até 2022, ano em que foi lançado o treebank UD_NheengatuCompLin na coleção Universal Dependencies (UD). As etapas aqui descritas indicam a expansão desse treebank, contribuindo para o fortalecimento dos recursos disponíveis para a descrição linguística e o processamento computacional do nheengatu.
creator: Antônio Levy Melo Nogueira
creator: Letícia Farias Nunes
creator: Dominick Maia Alexandre
creator: Leonel Figueiredo de Alencar
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 708
ending page: 712
doi: 10.5753/stil.2025.37876

Anotação Enhanced Rhetorical Structure Theory em textos de User-Generated Content
type: item
description: Este estudo analisa a aplicação da Enhanced Rhetorical Structure Theory (eRST) em textos de User-Generated Content (UGC), especificamente tweets relacionados ao mercado financeiro. Com o auxílio da ferramenta rstWeb, a anotação foi realizada a partir do corpus Dante-Stocks. Os resultados evidenciam a recorrência de determinadas relações eRST, a depender da estruturação semântico-sintática dos tweets, além de apontarem possíveis adaptações das diretrizes de anotação originalmente formuladas para a língua inglesa.
creator: Mateus Araújo Pereira
creator: Jackson Wilke da Cruz Souza
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 713
ending page: 717
doi: 10.5753/stil.2025.37877

Desafios dos Grafos de Conhecimento: uma proposta de avaliação de sistemas OpenIE
type: item
description: A Extração de Informação Aberta (OpenIE) enfrenta desafios na avaliação de seus modelos. Com a utilização de métricas tradicionais de outras áreas e a ausência de um corpus de ouro, surge a dificuldade de avaliar todas as possíveis extrações geradas pelos modelos. Neste trabalho, propomos um método de avaliação comparativa entre diferentes modelos de OpenIE voltados para a ĺıngua portuguesa utilizando grafos de conhecimento. Os resultados obtidos demonstram que modelos capazes de gerar um maior número de triplas com precisão tendem a oferecer melhor desempenho, evidenciando a importância de equilibrar quantidade e qualidade na tarefa de OpenIE.
creator: Samuel Rios da Silva
creator: Aline Athaydes
creator: Babacar Mane
creator: Daniela Barreiro Claro
creator: Marlo Souza
creator: Fernando H. de A. Moraes Neto
creator: Larrissa Dantas
creator: Rerisson Cavalcante
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 718
ending page: 722
doi: 10.5753/stil.2025.37878

LLMs no Combate à Desinformação: A Influência do Tamanho do Modelo na Detecção de Fake News no Brasil
type: item
description: A desinformação e propagação de fake news (notícias falsas) causam grandes impactos negativos em diversas áreas, entre elas a democracia, porque pode ser usada para manipular a opinião pública no processo eleitoral. A literatura científica possui estudos que investigam alternativas para detectar fake news, mas ainda existem diversas lacunas para o idioma português (do Brasil). Nesse sentido, este estudo analisa a hipótese de que a quantidade de parâmetros nos modelos de LLM (do inglês, Large Language Models) impacta na identificação de fake news. Os resultados sugerem que a hipótese é válida. Adicionalmente, outros fatores podem impactar, e que existe um limite de desempenho inerente às características analisadas.
creator: Pedro T. Schettini
creator: Guilherme Possari
creator: Bruno S. Faiçal
creator: Rodolfo M. Barros
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 723
ending page: 727
doi: 10.5753/stil.2025.37879

RST Visualizer: Uma ferramenta para a análise comparativa de anotações da Teoria da Estrutura Retórica
type: item
description: Este artigo apresenta a ferramenta RST Visualizer, que surgiu da necessidade de visualizar diferentes camadas de anotações sobre a análise discursiva de textos, tais como sua representação no formato de árvore RST e sinalizadores discursivos de cada relação retórica no nível intra-sentencial. Trata-se de uma ferramenta inédita para apoiar pesquisas que precisam realizar análises qualitativas por meio da comparação visual de diferentes anotações.
creator: Carlos Vitor Cardoso da Silva
creator: Jackson da Cruz Souza
creator: Paula Figueira Cardoso
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 728
ending page: 732
doi: 10.5753/stil.2025.37880

SisTIRA: Plataforma Web de Tutoria Inteligente para Avaliação Automática de Respostas Discursivas
type: item
description: Este trabalho apresenta o Sistema de Tutoria Inteligente de Respostas Automáticas (SisTIRA), uma plataforma web para avaliação automática de respostas discursivas. Desenvolvido com NestJS, Prisma e integrado ao Google GenAI (modelo Gemini-1.5-flash-8b), o sistema gerencia provas, bancos de questões e usuários, atribuindo notas de 0.0 a 1.0 com feedback breve. Em testes iniciais com vinte questões, o sistema demonstrou alta consistência e pertinência nos resultados, confirmando sua aplicabilidade em avaliações síncronas. O artigo descreve a arquitetura da solução, os testes de validação e perspectivas de aprimoramento.
creator: Avelar Rodrigues de Sousa
creator: Rafael Torres Anchiêta
rights: ##submission.copyrightStatement##
date: 2025-09-29
publication date: 2025-09-29
starting page: 733
ending page: 737
doi: 10.5753/stil.2025.37881