Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL)
O Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL) tem o propósito de estimular o desenvolvimento de uma área genuinamente multidisciplinar, procurando atrair pesquisadores, membros da comunidade acadêmica e da indústria que atuam nas áreas de Ciência da Computação, Lingüística e Ciência da Informação, entre outras, pois o processamento computacional das línguas humanas requer a coordenação de esforços de diversas comunidades, que contribuem com conhecimentos específicos e metodologias de pesquisa próprias no desenvolvimento de técnicas e sistemas.
Evaluating Domain-Specialized LLMs in Multi-Agent RAG for Enterprise Retrieval
This paper evaluates a multi-agent architecture for enterprise knowledge retrieval where a semantic router directs queries to specialized LLM agents covering thematic domains (e.g., legal, regulatory). We benchmarked prominent models, including GPT-4, LLaMA 4, and Gemini, on metrics like answer relevance, faithfulness, and execution time. Our results demonstrate that this specialized approach achieves superior precision and lower latency compared to centralized configurations. We identify GPT-4o, LLaMA 4, and Gemini-2.5-Flash as offering the best balance of accuracy and efficiency. These findings provide a practical guide for designing scalable, high-fidelity retrieval systems for regulated, multi-domain environments.
Enhancing a Nheengatu Morphosyntactic Analyzer for Word Formation and Non-standard Language
UD_Nheengatu-CompLin is the highest-rated and second-largest Amerindian language treebank in Universal Dependencies. It is annotated with Yauti, an analyzer for Nheengatu that uses special tags to handle unknown words. This paper presents a major revision of the special tag mechanism, extending coverage to phenomena such as reduplication, typos, and stylistic variation. A multi-level validator was implemented and passed 416 test cases. All 231 treebank sentences with special tags parsed, yielding a macro F1 score of 0.92 and both weighted and micro F1 scores of 0.96 in feature assignment.
NounBank.DS: a Lexical Repository of Nominal Frames from Stock Market Tweets in Brazilian Portuguese
This paper describes NounBank.DS, a project that provides argument structure for instances of predicate nouns in DANTEStocks, a Dependency-Analyzed corpus of stock market Tweets in Portuguese. NounBank.DS is part of a larger effort to add additional semantic layers of annotation to DANTEStocks. This and other annotation projects taken together should lead to the creation of better tools for the automatic analysis of tweets on the stock market. This paper describes the NounBank.DS project in detail, including its specifications and the process involved in creating the resource.
Knowledge Distillation in Compact Models: An Approach Applied to Text Processing for Public Security
This article aims to develop a model for summarizing police reports in the context of public security, with a focus on execution on limited hardware. The approach combined hybrid distillation (logits and intermediate representations) and supervised fine-tuning with LoRA, using a corpus of 19,286 police reports. The evaluation was conducted using automatic metrics (BERTScoreF1) and qualitative analysis by specialists. The results demonstrate that the distilled model generates clear, coherent, and semantically appropriate summaries, comparable to those of the larger model, with superior computational performance, including in hardware-constrained environments.
A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification
In business-to-business relations, it is common to establish Non-Disclosure Agreements (NDAs). However, these documents exhibit significant variation in format, structure, and writing style, making manual analysis slow and error-prone. We propose an architecture based on LLMs to automate the segmentation and clauses classification within these contracts. We employed two models: LLaMA-3.1-8B-Instruct for NDA segmentation (clause extraction) and a fine-tuned Legal-Roberta-Large for clause classification. In the segmentation task, we achieved a ROUGE F1 of 0.95 ± 0.0036; for classification, we obtained a weighted F1 of 0.85, demonstrating the feasibility and precision of the approach.
Clustering Discourses: Racial Biases in Short Stories about Women Generated by Large Language Models
Este estudo investiga como grandes modelos de linguagem, em particular o LLaMA 3.2-3B, constroem narrativas sobre mulheres negras e brancas em contos gerados em português. A partir de 2100 textos, aplicamos métodos computacionais para agrupar contos semanticamente semelhantes, permitindo uma seleção para análise qualitativa. Três principais representações discursivas/tipos de narrativas emergem: superação social, mitificação ancestral e autorrealização subjetiva. A análise revela como textos gramaticalmente coerentes e aparentemente neutros materializam um enquadramento cristalizado e colonialmente estruturado do corpo feminino, reforçando desigualdades históricas. O estudo propõe uma abordagem integrada, que combina técnicas de aprendizado de máquina com análise qualitativa e manual do discurso.
MOPrompt: Multi-objective Semantic Evolution for Prompt Optimization
Prompt engineering is crucial for unlocking the potential of Large Language Models (LLMs). Still, since manual prompt design is often complex, non-intuitive, and time-consuming, automatic prompt optimization has emerged as a research area. However, a significant challenge in prompt optimization is managing the inherent trade-off between task performance, such as accuracy, and context size. Most existing automated methods focus on a single objective, typically performance, thereby failing to explore the critical spectrum of efficiency and effectiveness. This paper introduces the MOPrompt, a novel Multi-objective Evolutionary Optimization (EMO) framework designed to optimize prompts for both accuracy and context size (measured in tokens) simultaneously. Our framework maps the Pareto front of prompt solutions, presenting practitioners with a set of trade-offs between context size and performance – a crucial tool for deploying Large Language Models (LLMs) in real-world applications. We evaluate MOPrompt on a sentiment analysis task in Portuguese, using Gemma-2B and Sabiazinho-3 as evaluation models. Our findings show that MOPrompt substantially outperforms the baseline framework. For the Sabiazinho model, MOPrompt identifies a prompt that achieves the same peak accuracy (0.97) as the best baseline solution, but with a 31% reduction in token length.
When Annotators Disagree: A Controlled Evaluation of Gender Bias in Sentiment Analysis Using Synthetic Datasets
This study investigates gender-related annotation bias in sentiment classification. First, we introduce a controlled synthetic dataset generation method that simulates parallel male and female sentiment labels with adjustable inter-annotator agreement. Then, we present the Gender Comparison Methodology, which trains classifiers separately on gender-partitioned labels and evaluates their predictions using shared textual inputs. Agreement is assessed using metrics such as Cohen’s Kappa, chi-square test, and Cramér’s V. Results show that even moderate disagreement between annotators leads to systematic model divergence, highlighting the importance of annotator identity in shaping classification behavior and informing fairness-aware auditing practices.
Benchmarking Large Language Models for Text-to-SQL in Brazilian Portuguese and English
This work assessed the performance of seventeen large language models, including open-source and proprietary models, on the Text-to-SQL task in both Brazilian Portuguese and English. Two schema representation strategies were considered: textual descriptions and representations using data definition language. Experimental results on the Spider dataset demonstrated the superior performance of proprietary models, particularly the Gemini-2.5-Flash-preview, as measured by the Execution Accuracy and Exact Match metrics. Among the open-source models, Qwen-2.5-Coder-14B achieved the highest performance. An error analysis of the best-performing model revealed strong proficiency in handling clauses such as SELECT and AND/OR, while considerable challenges persisted in generating more complex constructs, including GROUP BY with HAVING and set operators like UNION and INTERSECT.
Machine Learning Classifiers with Acoustic Features for Prosodic Segmentation in Brazilian Portuguese: A Comprehensive Evaluation
Spontaneous speech has not yet been widely explored in Brazilian Portuguese (BP) for the task of automatic prosodic segmentation. In this article, we compared seven types of classifiers, considering their performance for various types of speaker profiles (varied genders, ages, education levels, and regions of birth) and environmental impact, and trained the most appropriate one. Thus, we propose a Random Forest classifier, based on acoustic features, with low environmental impact and an F1 score of 0.55% and 0.77%, with binary and macro averages, respectively. Additionally, we are making it publicly available and present a discussion of its efficiency for different speaker profiles, as well as its environmental impact.
LattesRex: Building ChatBots for Semi-Structured Documents
Apresentamos o LattesRex, um sistema de perguntas e respostas baseado em LLMs para auxiliar na análise de currículos da Plataforma Lattes. Propomos uma abordagem estruturada modular inspirada em RAG, explorando metadados para estruturar as entradas enviadas à LLM. Conduzimos uma avaliação detalhada, com validação de linguistas, variando (i) o porte dos modelos, (ii) a extensão dos documentos e (iii) a complexidade das consultas. Os resultados indicam que a estruturação dos dados escala a solução sem perda de qualidade. Contribuímos com uma arquitetura replicável, uma avaliação qualitativa sistemática e reflexões relevantes para o uso de LLMs em contextos reais. Todos os recursos serão disponibilizados publicamente.
Automated Fact-Checking in Brazilian Portuguese: Resources and Baselines
The spread of misinformation presents a growing societal challenge, particularly in low-resource languages such as Brazilian Portuguese (PTBR), where the scarcity of high-quality datasets limits automated fact-checking tools. In this work, we introduce translated PTBR versions of two influential English-language fact-checking datasets: LIAR and AVERITEC. These resources support multi-class veracity classification and incorporate evidence-based reasoning. We also establish baseline results for both datasets using a range of model configurations, including zero-shot and few-shot prompting with Gemma 3, and fine-tuning of encoder-based models such as mBERT, BERT-Large, and BERTimbau-Large. Across both datasets, fine-tuned encoder-based models consistently outperformed Gemma 3 in zero-shot and few-shot settings. Our results underscore the importance of task-specific fine-tuning and evidence inclusion for veracity classification in PTBR. All datasets, translation scripts, and evaluation protocols are publicly released to support further research in this area.
AI-PAVE-Br: Leveraging Large Language Models for Enhanced Product Attribute Value Extraction through a Golden Set Approach
The explosive growth and complexity of product data within the dynamic Brazilian e-commerce landscape demand robust and specialized methods for structured information extraction. Traditional approaches to Product Attribute Value Extraction (PAVE) often struggle with the linguistic nuances and sheer diversity of product descriptions in Portuguese. To address this critical gap, this paper introduces two major contributions. First, we present AI-PAVEBr, a specialized system engineered with Large Language Models (LLMs) to perform high-accuracy PAVE specifically for Brazilian e-commerce catalogs. Second, to facilitate reproducible research and provide a definitive benchmark, we introduce and share the Golden Set, a new, meticulously curated, and manually annotated dataset for PAVE in Portuguese. We detail the creation process and structure (Entity, Category, Subcategories) of this high-quality reference set. Our experiments conclusively show that AI-PAVE-Br, leveraging targeted prompt engineering, dramatically outperforms conventional Named Entity Recognition (NER) baselines. This work not only delivers a superior, scalable solution for a major non-English market but also enriches the NLP community with a valuable, publicly available resource for future PAVE research.
Avaliação de eficiência na leitura: uma abordagem baseada em PLN
O teste cloze, amplamente difundido por seu baixo custo e flexibilidade, permite avaliar a compreensão leitora por meio do preenchimento de lacunas em textos, exigindo mobilização de repertórios linguísticos diversos. No entanto, os métodos tradicionais de correção, baseados apenas em respostas exatas, limitam a identificação de nuances no desempenho dos estudantes. Este estudo propõe um modelo automatizado de avaliação para o teste cloze em português brasileiro, integrando análises ortográfica (distância de edição), gramatical (via POS tagging) e semântica (similaridade entre embeddings). O método integrado mostrou-se efetivo, atingindo uma alta correlação com a correção humana (ρ = 0,832). Os resultados indicam que a abordagem automatizada é robusta, sensível às variações do repertório linguístico e adequada para contextos educacionais que exigem escalabilidade.
RAISE: Reasoning Agent for Interactive SQL Exploration
This work proposes a novel agentic framework that unifies schema linking, query generation, and iterative refinement for text-to-SQL within a single, end-to-end component. By leveraging LLM reasoning abilities, our method emulates human database interaction: understanding data through hypothesis formation, dynamic query validation, and result-based refinement. We introduce a strategy for scaling test-time computation by increasing the depth of interactive database exploration rather than traditional approaches. Our experiments show that our agent, equipped with steps to add more diversity to the answers, achieves 81.8% Best-of-N accuracy with 8 candidate rounds, rivaling the topranked published solution (82.79%) while reducing engineering complexity.
Aprendizado Profundo para Detecção de Movimentos Retóricos
A carência de ferramentas para auxílio à escrita científica em português dificulta a produção de textos coesos. Este artigo descreve o processo de fine-tuning do modelo de linguagem BERTimbau para a identificação automática de movimentos retóricos fundamentados no modelo de Swales. A metodologia utiliza o CorpusDT, um corpus de resumos da área de Computação, para a tarefa de classificação de sentenças. Os resultados do classificador demonstram alta eficácia, com um F1-Score de 0,94 no conjunto de validação, indicando o potencial da abordagem para aprimorar a qualidade das publicações científicas em língua portuguesa.
Diplomatrix-BR: Um Corpus Paralelo de Redações de Autoria Humana e de LLMs no Concurso de Diplomacia Brasileira
Modelos de Língua de Larga Escala (LLMs) avançaram significativamente na geração de textos coerentes e bem estruturados, mas a avaliação de suas saídas ainda representa um desafio, especialmente em geração aberta e de alto nível. Esse problema é ainda mais evidente em línguas menos representadas, como o português, em que os benchmarks existentes costumam ser restritos em escopo e domínio. Apresentamos o Diplomatrix-BR, um novo benchmark baseado em redações do exame de admissão à carreira diplomática no Brasil (CACD), acompanhado de suas notas oficiais atribuídas por avaliadores humanos e de textos gerados por LLMs sobre os mesmos temas. Aplicamos uma variedade de métricas linguísticas e automáticas para comparar produções humanas e de modelos, oferecendo indícios sobre se LLMs são capazes de escrever com profundidade real ou se apenas simulam coerência por meio de fluência superficial. O Diplomatrix-BR estabelece as bases para a avaliação da geração em contextos de poucos recursos e de alta complexidade, ao mesmo tempo em que evidencia a fragilidade de métricas automáticas.
Improving Pun Detection with an Ensemble of Traditional Machine Learning Methods
Humor is a remarkably complex emotional process, defined as any object or event that causes laughter or amusement or is considered funny. Therefore, recognizing humor is considered one of the most challenging tasks in Natural Language Processing. In this paper, we approached the pun detection task for the Portuguese language. Puns are a form of wordplay that exploits multiple meanings of a term or similar-sounding words to create an intended humorous or rhetorical effect. Our strategy is straightforward: we trained and evaluated an ensemble learning approach of traditional machine learning models on PUNTUGUESE, a recent corpus of Portuguese puns. With this, we outperformed a BERT-based model by 11 p.p. in accuracy and achieved state-of-the-art results. More than that, we performed a detailed error analysis and found that our approach has limitations in identifying puns that contain neologisms.
A sintaxe no tribunal: apresentando e explorando um corpus jurídico em português anotado sintaticamente segundo o modelo Universal Dependencies
Textos jurídicos representam um desafio para o campo do Processamento de Linguagem Natural, dada a complexidade e o estilo característicos desse tipo de texto. Neste artigo, contribuímos com o desenvolvimento dessa área para o português do Brasil em duas frentes. Primeiramente, apresentamos o PortJur, um novo corpus jurídico anotado sintaticamente de acordo com o modelo Universal Dependencies, resultando, para além do estudo linguístico relevante, em um recurso inédito para o português. Em seguida, exploramos o corpus anotado para criar recursos lexicais especializados, como listas de palavras de conteúdo, formas verbais, abreviaturas e estrangeirismos, e um almanaque de entidades nomeadas.
Learning with Few: A Comparative Study of Multilingual Text Anomaly Detection
Detecting anomalies in textual data is a critical task in domains such as content moderation, fraud detection, and risk monitoring. However, this remains challenging due to the semantic complexity of language and the scarcity of labeled anomalies in real-world scenarios. This paper presents a comprehensive benchmark study that integrates multiple perspectives: representation strategies, learning paradigms, and linguistic diversity. We evaluate unsupervised and semi-supervised models—including deep learning approaches—across datasets in both Portuguese and English. Additionally, we assess the impact of sentence embeddings, comparing multilingual encoders with language-specific models. Our findings show that representation choice and limited supervision strongly influence model performance in few-shot settings.
Evaluating RAG-based QA Systems: A Comparative Analysis of LLM as a Judge, Traditional Metrics, and Human Alignment
Evaluating RAG based Question Answering systems presents ongoing challenges, as traditional NLP metrics often inadequately capture nuanced answer quality and the reliability of LLM as a Judge paradigms requires further validation. This study comprehensively compares two distinct RAG QA systems on a domain-specific dataset from a consulting company. We investigate the efficacy and human alignment of LLM as a Judge configurations (Fine-Tuning and In-Context Learning) benchmarking them against NLP metrics and human evaluations. Results indicate that BERTScore is more indicative of semantic similarity than lexical-based metrics. For LLM as a Judge evaluations, Prometheus 2 using Pairwise Comparison demonstrated the strongest human alignment.
PetroGeoNER: A Refined and Unified Dataset for NER in the Oil & Gas Domain
Named Entity Recognition (NER) is a task of Natural Language Processing (NLP) that deals with finding and categorizing relevant entities (i.e., word n-grams) in a text, assigning them to predefined semantic categories. The availability of annotated datasets is crucial for developing NER models and assessing their quality. This becomes an issue considering underrepresented languages and specific domains. Furthermore, the word-level annotation required by NER datasets is laborious and prone to inconsistencies. Aiming to contribute to more resources for Portuguese, this paper compiled PetroGeoNER, a NER dataset in the Oil & Gas domain. The process of creating our dataset involved unifying, revising, and solving inconsistencies in two existing datasets. PetroGeoNER was used to train accurate NER models. Both the models and the dataset were made publicly available.
Towards a Corpus Methodology for LLMs in the Legal Domain
The creation of high-quality Question-Answer (QA) datasets is critical for developing reliable legal AI systems, yet a significant gap exists between intrinsic textual metrics and real-world model performance. This paper introduces an end-to-end framework to bridge this gap. We first present a refined methodology for generating a legal QA dataset (V2) based on the Brazilian Consumer Protection Code (Código de Defesa do Consumidor CDC), demonstrating its superiority over a baseline corpus using metrics such as MTLD and Shannon Entropy. We then assess its practical impact by fine-tuning a Qwen3-8B model with LoRA. The model’s performance is evaluated on a novel, expert validated 76 question multiple choice benchmark. Results show that the fine-tuned model achieves perfect accuracy on the benchmark and surpasses the base model across text generation metrics including BLEU, METEOR and BERTScore. Our work offers a reproducible methodology for legal dataset construction and validation, providing empirical evidence that improvements in data quality yield tangible gains in downstream legal reasoning tasks.
Fernando Humberto de Almeida Moraes Neto
Fine-tuned model evaluation on Transformer Fragments for Identifying Idiomatic Expressions in Portuguese
O presente trabalho aborda o desafio da identificação de Expressões Idiomáticas (EIs) em língua portuguesa, um problema cujo principal desafio está na não composicionalidade semântica e ambiguidade dessas estruturas. A escassez de dados anotados e limitações dos modelos em capturar a idiomaticidade motivaram a construção de um corpus anotado e a proposta de um método que se baseia no uso de fragmentos de Transformer para identificação das EIs em sentenças. O método utiliza pesos de atenção do modelo BERTimbau, focando em uma cabeça específica sensível a relações sintáticas relevantes em EIs e integra heurísticas linguísticas para penalizar usos literais. Os resultados demonstram alta precisão do método (1.0) sem falsos positivos, e uma revocação de 66,7%, resultado em uma pontuação de F1 de 0.8. Além disso o trabalho compara os resultados com métodos já utilizados na literatura de outros modelos de arquitetura BERT ajustados.
Syntactic Analysis in Transformers through Attention Heads
The advances in Natural Language Processing (NLP) have led to the development of Transformer architectures, such as BERT. One of the most prominent features of this architecture is the attention mechanism. However, the application of attention mechanisms to languages other than English, like Brazilian Portuguese, remains underexplored. This work analyzes the attention heads in a Transformer architecture, considering the syntactic relations in a sentence. We analyze how attention patterns align with syntactic dependencies involving phenomena such as transitive verbs, reflexive pronouns, and subordinate clauses, as realized in Brazilian Portuguese. Results described the existence of specialized heads within arcs, such as subject–verb and verb–object. These findings open up new research opportunities to evaluate syntactic sensitivity in Transformer models and to contribute to the development of more linguistically informed models for Brazilian Portuguese.
How Faithful Are Your Summaries? A Study of NLI-Based Verification in Portuguese
Abstractive summarization systems often generate content that is not supported by the source text, making faithfulness verification a critical evaluation step. In this paper, we investigate the reliability of Natural Language Inference (NLI) methods for detecting summary faithfulness in Portuguese. Our contribution is two-fold: (i) we introduce VERISUMM, the first large-scale dataset for summary faithfulness detection in Portuguese, and (ii) we benchmark several NLI-based approaches applied to faithfulness detection. Our experiments revealed that zero-shot models exhibit low to moderate performance and that fine-tuning improves results. However, our error analysis showed that NLI models rely heavily on lexical overlap heuristics, limiting their effectiveness.
Impacto do Idioma no Desempenho de Algoritmos de Classificação de Texto: Um Estudo entre Português e Inglês
Este estudo analisa a influência do idioma no desempenho de algoritmos de aprendizado de máquina em tarefas de classificação de textos. Foram utilizados dois corpora paralelos português-inglês, abrangendo análise de sentimentos e categorização temática de resumos científicos. Diversos algoritmos supervisionados foram avaliados sob diferentes configurações de pré-processamento. Os resultados indicam que não há variações significativas atribuídas exclusivamente ao idioma, indicando a robustez das técnicas frente à mudança linguística. Adicionalmente, constata-se que a tradução automática não compromete o desempenho, o que respalda sua adoção em cenários multilíngues.
DEBISS-Arg: An In Depth Data Annotation Protocol and Corpus for Argument Mining in Semi Structured Debates
Argumentation plays a crucial role across various domains of human activity. However, its diverse applications present challenges in knowledge representation, leading to the development of numerous data models without a universally accepted standard. This lack of standardization complicates the creation of data and representation frameworks for argument annotation, which are essential for building high-quality datasets. This research addresses these limitations by proposing a comprehensive data annotation protocol specifically designed for argument mining in semi-structured debates. The protocol is applied to the newly introduced DEBISS-Arg corpus, which includes multiple annotation labels covering a range of argument mining tasks in Brazilian Portuguese.
A Música Brasileira na Ditadura Militar: uma análise de tópicos com BERTopic e GSDMM
Durante a ditadura militar no Brasil, artistas recorreram à música como forma de expressão, valendo-se de uma linguagem poética e metafórica. Nesse contexto, a análise sociopolítica dessas letras apresenta-se como um desafio interpretativo. Este trabalho busca analisar letras de músicas brasileiras lançadas durante este período, utilizando BERTopic e GSDMM para modelagem de tópicos, a fim de identificar temas-chave que refletem aspectos sociais, políticos e históricos do período. Os modelos analisados revelaram uma linguagem simples e cotidiana, com pouco uso de vocabulário erudito ou político, sugerindo que os artistas optaram por uma expressão direta e emocional, possivelmente para ampliar o diálogo com o público. Particularmente, o BERTopic destacou-se por mapear a diversidade temática com pouca redundância, enquanto o GSDMM segmentou temas dominantes em subtópicos altamente coesos. Este trabalho mostra como a música brasileira, por meio de uma linguagem poética e acessível, retratou o cotidiano da época e revelou o potencial da modelagem de tópicos como ferramenta para a análise cultural.
CROSSAGE: A cross-attentional graph and Transformer architecture for skill and knowledge recognition in job descriptions
A extração automática de habilidades e conhecimentos a partir de descrições de vagas apoia o recrutamento, a requalificação e a análise do mercado de trabalho, mas modelos tradicionais de NER enfrentam dificuldades com spans ambíguos e sintaticamente complexos. Este trabalho propõe o CROSSAGE, uma arquitetura híbrida leve que combina embeddings contextuais de Transformers com características estruturais de grafos de dependência por meio de atenção cruzada. Os resultados no dataset SKILLSPAN mostram que o CROSSAGE (JobSpanBERT) atinge o maior F1 para entidades do tipo SKILL (49,8), enquanto o CROSSAGE (BERT) iguala a melhor baseline para KNOWLEDGE (64,1) e melhora o recall (68,8). Os ganhos são especialmente notáveis em domínios complexos como house, onde o CROSSAGE alcança 51,5 de F1 para SKILL. Esses achados destacam o potencial do CROSSAGE como uma alternativa eficaz a modelos híbridos mais pesados.
Restauração de Pontuação em Textos Traduzidos no Idioma pt-BR a partir de Transcrição de Áudios
Este trabalho propõe um modelo para restaurar automaticamente a pontuação em textos coloquiais em português do Brasil, originados de transcrições de áudio, com foco na melhoria da legibilidade e usabilidade em tarefas de PLN. A metodologia envolve duas etapas principais: treinamento e inferência. Utiliza-se o corpus IWSLT (2014–2016), que contém transcrições de palestras TED traduzidas, e um modelo híbrido com Bi-LSTM, self-attention e CRF. O pré-processamento inclui mapeamento de sinais, construção de vocabulário, embeddings GloVe e rede highway. Quatro cenários de avaliação foram aplicados, revelando que a combinação dos dados dos três anos gera os melhores resultados, com melhorias progressivas nas métricas de precisão, recall e F1-score.
Adapting ASR Models to Technical Scenarios: A Case Study in the Brazilian Automotive Repair Domain
This work proposes a pipeline for adapting automatic speech recognition models to the domain of automotive repair shops in Brazilian Portuguese. The process includes real data collection, manual transcription, and dataset curation, with adjustments to the Conformer, and Wav2Vec 2.0 models, while Whisper model served as a comparative baseline. The approach aims to improve speech recognition accuracy in noisy environments with specific technical vocabulary. The Conformer model achieves the best results, with a word error rate of 12.97 percent and a character error rate of 5.46 percent, surpassing the Whisper Large-v3 in both transcription accuracy and inference speed.
Evaluation of an NLP-Based Chatbot for Informational Support in Bronchopulmonary Dysplasia (BPD) in neonates
Bronchopulmonary Dysplasia (BPD) is a chronic lung condition that affects neonates, especially those born prematurely. Despite its relevance, the lack of accessible and up-to-date information hampers the proper management of this condition for both families and healthcare professionals. This study proposes the development of a chatbot based on Natural Language Processing (NLP) technique, named Soprinho IA, to provide informational and empathetic support to both mothers and healthcare professionals, focusing on BPD information. The methodology involves data collection from various sources, text preprocessing, and training of three different NLP architectures, such as Recurrent Neural Networks (RNNs), transformers, and other state-of-the-art approaches. The Sentence-Transformer model, based on BERT, achieved the best results, with high accuracy and semantic relevance. The chatbot is integrated into a responsive web interface, offering multimodal interaction features, including audio support. The evaluation of the models demonstrated the chatbot’s effectiveness in providing contextualized and easily understandable responses, with potential to improve communication and the management of neonates with BPD. The study also highlights limitations, such as the need to improve speech-to-text conversion, and suggests future directions for the integration of AI models to support clinical decision-making.
Gender Bias in Portuguese Literary Texts: A Masked Language Model Approach
In this work, we investigate how a corpus of Portuguese literary texts shapes the gender bias of a language model using a masked language modeling approach. We fine-tune a BERT-based model on a curated corpus of 592 literary works and analyze gender associations in adjective and verb predictions. Our results show that fine-tuning shifts gender associations: female-denoting targets showed a significant reduction in negative associations, while male-denoting targets retained a negative bias. For verbs, gender disparities decrease, though male subjects retain stronger links to intellectual/work-related verbs. These findings highlight how literary texts can shape gender representations in language models, reinforcing or reshaping biases based on training data.
Techniques for Dealing with Imbalanced Data: A Systematic Literature Review
This systematic review of the literature addresses techniques employed to address the problem of data imbalance. A variety of articles were analyzed, exploring strategies such as under-sampling, oversampling, and their combinations to address asymmetry in class distributions. Sensitive metrics, including recall, precision, and F1 score, emerge as crucial in imbalanced contexts. The studies reveal the challenges in selecting appropriate strategies and underscore the importance of adaptive approaches. Innovative solutions, such as adaptive combinations of techniques and integration with specific algorithms, are discussed. The ongoing need for research to address the specific challenges of data imbalance is highlighted.
GolpeBR: Construction and Validation of an Annotated Dataset on Banking Scams and Fraud
This article details the construction and validation of the GolpeBR dataset, which was created from news articles and Reddit posts. Automated Python methods were used to extract and process the data, which was then annotated using the Deepseek-R1 LLM and the 5W1H methodology. A cybersecurity expert classified and validated the records, distinguishing between banking cybercrimes and unrelated crimes. For the dataset's validation, supervised learning algorithms were applied. It was found that models trained with data structured by the 5W1H methodology demonstrated better accuracy, reaching 0.83 for the Logistic Regression and Random Forest algorithms.
Meta4BR: Avaliando a Fidelidade Metafórica em Traduções de Metáforas para o Português por LLMs
Metáforas são elementos fundamentais na comunicação humana, permitindo uma expressão nuançada e uma compreensão conceitual mais profunda. No entanto, a maioria das pesquisas em detecção de metáforas concentra-se em corpora e modelos para o inglês. A capacidade dos Grandes Modelos de Língua (LLMs) em processar linguagem metafórica em outros idiomas permanece pouco explorada. Este estudo investiga se metáforas podem ser preservadas e anotadas por meio da tradução. Com foco no português brasileiro, adotamos um pipeline baseado em retrotradução e comparação, utilizando múltiplos LLMs. Com base em métricas automáticas e avaliação humana, resultados sugerem a viabilidade de traduzir metáforas conceituais e linguísticas. Os achados apontam que recursos de metáforas podem ser construídos a partir de fluxos de tradução. No entanto, permanecem desafios, especialmente a necessidade de validação manual extensiva e os riscos de viés cultural e mudança semântica.
Evaluating Large Language Models through Multidimensional Item Response Theory: A Comprehensive Case Study on ENEM
LLM evaluations on tasks like high-stakes multidisciplinary tests still rely on raw accuracy, a metric that weights easy and difficult questions equally and ignores guessing. To help bridge this methodological gap, we repurpose the official three-parameter logistic Item Response Theory (IRT) calibration that the Brazilian education authority (INEP) uses to score humans on the Exame Nacional do Ensino Médio (ENEM), and apply it to LLM responses. We then fit a four-dimensional 3-PL model aligned with ENEM’s knowledge domains. Results show that similar accuracies can mask proficiency gaps exceeding one standard deviation across domains. Mathematics remains the toughest domain for both humans and models, whereas questions on Human Sciences are systematically easier for both.
From Zero-shot to Self-generated References: Leveraging LLMs for Scoring ENEM Essays
This study investigates the application of Large Language Models (LLMs) to Automated Essay Scoring (AES) in the context of Brazil’s Exame Nacional do Ensino Médio (ENEM). We evaluate five state-of-the-art LLMs across three prompting scenarios: zero-shot, one-shot (with high-score references), and a novel self-generated reference approach, where the model generates its own ideal reference before evaluation. Using the Essay-BR corpus, we assess performance using both classification and regression metrics. Results show that one-shot prompting consistently yields the best metrics, while the self-generated reference method presents a viable alternative when no real references are available. Our findings highlight the promise of LLMs for educational scoring.
Corpus Memórias Paroquiais: Avanços em Reconhecimento de Entidades
Este artigo aborda os avanços recentes em REN no contexto do corpus Memórias Paroquiais. O corpus foi enriquecido com anotações adicionais que introduzem categorias dedicadas à fauna e flora. Além disso, é discutido um estudo sobre a adaptabilidade do modelo para lidar com dados originais sem normalização.
A Moving Target: Detecting Concept Drift in Brazilian Portuguese Fake News
Static fake news detectors trained on offline data degrade over time due to concept drift, an understudied phenomenon outside English. This paper presents the first large-scale analysis of concept drift in Brazilian Portuguese fake news. Combining statistical two-sample tests, semantic similarity, and nonparametric change point detection, we quantify the presence and impact of drift, providing explainability by identifying points in time where shifts occur. Our results reveal significant shifts in topical and semantic patterns, demonstrating that model performance can degrade considerably when trained on older data. These findings prove the critical need for adaptive, time-aware methods, and the curation of temporally diverse datasets to build robust defenses against online misinformation in Brazilian Portuguese. The source code for our experiments is publicly available at https://github.com/GDSMN/STIL2025_conceptdrift.
Empirical Evaluation of Preprocessing and Balancing Techniques Impact Across Algorithm-Vectorizer Combinations in Sentiment Classification
This study systematically evaluates the individual impact of six commonly applied preprocessing techniques on sentiment classification performance using 14,224 Steam reviews. Each technique was assessed across four algorithms (SVC, Random Forest, TextBlob, VADER) and three vectorization approaches (TF-IDF, Count Vectorizer, Hashing Vectorizer). Results reveal significant variability in preprocessing effectiveness: four consecutive stages (HTML cleanup, emoji removal, number elimination, punctuation normalization) produced identical results, indicating redundancy for this corpus. Stop word removal and stemming showed mixed effects depending on algorithm-vectorizer combinations. Machine learning approaches demonstrated different sensitivity patterns compared to lexicon-based methods. SVC with TF-IDF showed consistent performance across preprocessing stages. These findings challenge assumptions about universal preprocessing benefits and emphasize the importance of empirical validation for specific domains and algorithm combinations.
Análise de tópicos e sentimentos em cartas indígenas brasileiras
Este artigo apresenta resultados preliminares de uma análise computacional de sentimentos e palavras-chave em um corpus de mais de 1500 cartas indígenas brasileiras. Utilizamos modelos de linguagem pré-treinados para detectar polaridade afetiva e extrair termos representativos dos textos, com o objetivo de explorar a viabilidade de soluções de verificação de narrativas culturalmente sensíveis. Os resultados sugerem padrões coerentes entre temas e emoções, revelando também limitações técnicas atuais.
Modelo de Classificação Automática de Frases Faladas com Abordagem em Redes Neurais Convolucionais
O artigo apresenta um modelo de classificação automática de frases faladas para o português utilizando redes neurais convolucionais (CNNs). A metodologia envolve a análise de espectrogramas MFCCs como entrada para a CNN. Os resultados do modelo foram analisados em termos de precisão, recall, f-score e acurácia para diferentes categorias. O estudo conclui que, embora o modelo se mostre com desempenho promissor em algumas classificações, ele ainda apresenta desafios significativos na identificação de frases canônicas e anti topicalizadas, necessitando de mais dados de áudios e ajustes futuros.
Estratégias de modelização de dicionários latim-português como Linked Open Data
Este artigo apresenta o processo de incorporação dos dados de três dicionários bilíngues latim-português à LiLa Knowledge Base, uma base de recursos linguísticos interoperáveis voltados para o latim. O foco recai sobre como a informação extraída dos dicionários é representada através domodelo OntoLex-Lemon e descreve as estratégias utilizadas para preservar o texto original, dado seu interesse histórico. O processo de interligação das entradas ao LiLa Lemma Bank é descrito em detalhes. O resultado é a primeira coleção de recursos lexicais latim-português dotada de interoperabilidade com os (meta)dados dos demais recursos linguísticos conectados à LiLa Knowledge Base.
Frame-Based Semantic Representation and Similarity Analysis in Audio Description Scripts
We present a semantic similarity analysis between two versions of audio description scripts for a Brazilian short film, based on Frame Semantics and the FrameNet Brasil annotation model. Our study applies manual frame-based semantic annotation, identifying lexical units, frames, and frame elements. A similarity metric combining spread activation and cosine similarity is employed to measure semantic overlap, showing that variations in frame evocation reflect different narrative and descriptive choices across scripts. This work demonstrates how frame-based models can capture semantic overlap and divergence in multimodal translation tasks such as audio description.
Use of Embodied Conversational Agents to Engage Visitors in Art Exhibits
The rapid advancement of Artificial Intelligence presents new opportunities and challenges across numerous fields. This paper explores the application of Embodied Conversational Agents in art galleries as a means to enhance visitor engagement. We propose a general system architecture for developing such an agent and describe the implementation of an interactive exhibit based on the painting ”Cabeça de Mulato” by Candido Portinari. Preliminary results from logged visitor interactions indicate that ECAs can indeed foster meaningful engagement in cultural settings.
Classificação de Notícias Falsas na Língua Portuguesa Utilizando Modelos Baseados na Arquitetura Transformer
A rápida expansão do uso da internet e das redes sociais tem contribuído para a disseminação das chamadas “Fake News” (Notícias Falsas). As proporções que esse fenômeno tomou sugerem a existência de uma lacuna no combate à desinformação. Assim, este trabalho tem como objetivo empregar modelos de classificação baseados na arquitetura das redes neurais Transformer na tarefa de classificação de notícias falsas em textos escritos na língua Portuguesa. Para isso, três modelos distintos foram desenvolvidos: (1) Encoder-Only, (2) Decoder-Only e (3) Transformer (Encoder-Decoder); todos treinados sobre um mesmo conjunto de dados oriundo da união de dois corpora. Ademais, foram analisados alguns modelos pré-treinados e comparados seus resultados com os dos modelos propostos neste artigo. Em suma, todos os modelos Transformer desenvolvidos apresentaram desempenho superior, com destaque para o modelo Encoder-Only, que obteve valores de acurácia e precisão superiores a 96,7%.
Anotação de Narrativas Clínicas de acordo com as diretrizes das Dependências Universais
Este é um estudo em andamento sobre Processamento de Língua Natural de um corpus de Narrativas Clínicas em português brasileiro com duas versões anotadas: uma pela máquina e outra por humanos. A frequência dos rótulos das classes de palavras e das relações de dependência dos tokens em cada versão é calculada e uma análise guiada pelo corpus é realizada, destacando as correções feitas pelos humanos nas anotações da máquina. A comparação dessas anotações permite a criação de treebanks que podem ser usados para treinar novos modelos usando técnicas de aprendizado de máquina e para aprimorar diversas aplicações de Processamento de Língua Natural com corpus da área biomédica. Além disso, essa comparação permite a análise da consistência teórica de anotação, a fim de identificar o sistema gramatical desse tipo de corpus e criar guias de anotação para Narrativas Clínicas em português brasileiro de acordo com as Dependências Universais.
The Zé Lensky Dataset: A Brazilian Portuguese Twitter Corpus for Russo-Ukraine War Stance and Sentiment Analysis
This paper presents a work-in-progress corpus of over 200,000 Brazilian Portuguese tweets related to the Russia-Ukraine war, collected between 2022 and 2025. The dataset includes metadata and annotations for stance and irony, with particular attention to partisan and culturally specific expressions such as “zé lensky”, which we hypothesize indicate processes of sociolinguistic enregisterment in partisan speech. This resource enables further exploration of political discourse in Brazilian social media and supports future studies on narrative dynamics, user behavior, and informal political language. The dataset is available on GitHub.
Towards Prompt Engineering and Large Language Models for Post-OCR correction in handwritten texts
This work explores the use of Large Language Models (LLMs) for post-OCR spelling correction in full sentences across Portuguese, French, and English. Using outputs from a state-of-the-art recognition model on the BRESSAY, RIMES, and IAM datasets, we evaluated two different zero-shot prompts. Closed LLMs, such as Gemini and GPT series, consistently outperform open-source models in reducing Character Error Rate (CER) and Word Error Rate (WER), while also offering faster inference. Despite the good accuracy of open models, their high computational demands hinder their practical use. Code is available at https://github.com/savi8sant8s/zero-shot-spelling-corrector.
DEBISS: a Corpus of Individual, Semi-structured and Spoken Debates
Debating is essential in daily life — whether in academic or professional settings, casual conversations, political forums, or online discussions. The range of debate applications is broad; therefore, their structures and formats can vary significantly. Developing corpora that account for these variations is challenging. The scarcity of debate corpora in the current state of the art, particularly for other languages beyond English, is notable. For this reason, this research proposes the DEBISS corpus, a collection of spoken and individual debates in Portuguese with semi-structured features. The corpus has broad applicability across Natural Language Processing tasks, including speech-to-text, speaker diarization, argument mining, and debate quality evaluation.
Universal Dependencies for 19th-Century Nheengatu from the Lower Amazon Region
We present the morphosyntactic annotation of Nheengatu as spoken in the 19th century in the Lower Amazon region. The annotated data expand the UD Nheengatu-CompLin treebank, the first for Nheengatu in the Universal Dependencies project, by incorporating forms and syntactic patterns characteristic of that region and time. We describe the corpus source, the orthographic normalization process, and the main annotation strategies used. So far, 345 sentences have been annotated, with 310 already integrated into the current version of the treebank. This historical data annotation enhances the lexical and morphosyntactic coverage, supporting the documentation and computational modeling of Nheengatu.
VerboWeb 3.0: Decoding Verb Behavior in Brazilian Portuguese – From Lexical Semantics to Web-Verified Syntactic Patterns
This paper introduces VerboWeb 3.0, a lexical-semantic and syntactic database of Brazilian Portuguese verbs. Building on previous releases, it catalogs over 2,000 lemmas and about 20,000 examples (in progress), organized into seven semantic categories and more than 65 classes. Each class is validated against web-attested sentences to ensure accuracy. A key innovation is flexible granularity, allowing verbs to belong to multiple overlapping classes. Classes have been reorganized to better reflect the structure of the BP verbal system. The user interface has been redesigned for intuitiveness and accessibility. VerboWeb 3.0 supports theoretical linguistics through argument structure analysis, provides training data for NLP tasks, and aids education by facilitating the creation of language exercises.
DANTEStocks-AMR em Construção: Avanços e Desafios na Anotação Semântica de Tweets Financeiros
O formalismo Abstract Meaning Representation (AMR) é amplamente utilizado no Processamento de Língua Natural (PLN) para representar o significado de enunciados em grafos orientados. Este trabalho se insere na tarefa pioneira de anotação do corpus DANTEStocks-AMR, composto por 4.048 tweets do mercado financeiro já anotados com Universal Dependencies (UD). Os grafos estão sendo construídos de forma semiautomática, com adaptações das diretrizes originais do inglês e daquelas já definidas para o português às especificidades do corpus, com apoio da anotação-UD. O artigo discute características do corpus que exigiram ajustes no modelo AMR, e apresenta estatísticas do DANTEStocks-AMR (v.1), com um 1/4 dos tweets anotados.
Aspectos do desenvolvimento de um etiquetador morfossintático da língua Asuriní do Trocará
Este artigo aborda a preservação das línguas indígenas e o desenvolvimento de ferramentas de Processamento de Linguagem Natural (PLN) para análise linguística, com foco na língua Asuriní do Trocará. Com base em um corpus compilado, a pesquisa implementou um etiquetador morfossintático computacional para identificar argumentos e predicados na língua. Nesta pesquisa, foram explorados padrões linguísticos, etiquetagem manual e processamento de dados com Python. Após avaliação, o etiquetador foi submetido ao cálculo do F-Score, sugerindo a necessidade de otimização futura.
Análise da Anotação de Negação em Corpora sob as Diretrizes da Universal Dependencies
Este trabalho analisa a anotação da negação no português segundo as diretrizes da Universal Dependencies (UD). A partir da revisão de operadores negativos e preposições de exclusão nos corpora UD Portuguese Bosque, Porttinari-base e na ferramenta PortiLexicon-UD, identificamos inconsistências na marcação de atributos morfológicos e relações sintáticas. Propomos ajustes que tornam a anotação mais precisa e consistente, contribuindo para tarefas de PLN como análise de sentimento, extração de informação e tradução automática.
Elevação de sujeito e objeto da completiva-sujeito de adjetivos em português do Brasil
Descrevem-se dois tipos de reestruturação de completiva-sujeito de adjetivo em português do Brasil: elevação de sujeito (Que João faça isso é bacana / João é bacana em fazer isso) e elevação de objeto (Fazer isso é incomum / Isso é incomum de se fazer). A formação e a extensão desse fenômeno são descritas a partir de uma lista dos lemas de adjetivos mais frequentes em um corpus. Observou-se que os adjetivos que aceitam elevação de sujeito formam um subconjunto, composto principalmente por adjetivos de comportamento e avaliativos, dos que aceitam elevação de objeto.
O Obstáculo das Ambiguidades Estruturais da Língua para Modelos de Linguagem Linguisticamente Motivados
Este artigo apresenta o UDCode, uma convenção para a codificação de informações morfossintáticas e de dependência da Universal Dependencies. O objetivo é avaliar como a granularidade das anotações da UD para o português brasileiro impacta o reconhecimento de entidades mencionadas de tempo. Testes exploratórios revelaram que a subdeterminação na categorização de advérbios compromete a precisão, gerando alta taxa de falsos positivos. O resultado evidencia que a eficácia de um modelo linguisticamente motivado depende do nível de detalhe das anotações. Conclui-se que trabalhos futuros devem focar na revisão das diretrizes de anotação para incluir categorias adverbiais mais refinadas ou em métodos que compensem essa falta de especificidade.
Named Entities in Stock Market Tweets: A Fine-Grained and Linguistically-Motivated Annotation
This work provides a second look at the Named Entity annotation of DANTEStocks – a corpus of stock market tweets in Portuguese – offering an in-depth analysis of the linguistic decisions involved in creating a gold-standard annotation tailored to this genre and domain. Our methodology builds on the guidelines of the Second HAREM evaluation, extending and reinterpreting them to the adopted genre and domain. The article furnishes then an analysis of the linguistic phenomena that challenge to this task, proposes specific strategies for entity delimitation and classification, and presents a linguistic characterization of the corpus based on the class distribution that resulted from the annotation.
A oposição nas relações de coerência Contrast e Concession
As relações de coerência Contrast e Concession compartilham o mesmo efeito de oposição. Apesar disso, segundo os estudos com base na Rhetorical Structure Theory (RST), há características que as definem individualmente, como a estrutura e a intencionalidade do escritor/falante. Neste trabalho, investigou-se mais detidamente o comportamento dessas relações em um corpus jornalístico pré-anotado tanto com as relações de coerência quanto com os sinalizadores discursivos (SDs) que as identificam. Os resultados corroboram e especificam a diferença na estrutura dessas relações, além disso, são apresentados seus pontos de encontro, dentre os quais se destaca o compartilhamento de SDs, sobretudo no que se refere ao uso de conectivos.
Corpus-driven lexical analyses of CorCel: a comparative analysis of preliminary findings of written proficiency in Portuguese as an additional language
This paper aims to comparatively analyze research on CorCel [Schoffen et al. , forthcoming] a corpus of written texts produced under exam conditions for the Celpe-Bras exam. It compares studies that examined tasks using Sketch Engine’s keywords, wordlist, n-grams and concordance tools. These studies also analyzed text length and lexical richness using lexical diversity indices. The comparative study showed relevant lexical indexes for characterizing the exam proficiency levels, such as text length, and important differences in the use of input material and other linguistic resources among texts rated with different grades. Such analyses offer new possibilities for research in Portuguese as an additional language (PAL) proficiency assessment and teaching.
Extração de Eventos (EE) é a tarefa de identificar e extrair informações de eventos em um texto livre. Devido à grande quantidade de fontes de texto não estruturado, a área da saúde pode se beneficiar da EE para facilitar a interpretação de registros clínicos e mitigar erros médicos. Neste trabalho apresentamos o EEVIN (Extrator de EVentos clÍNicos), um algoritmo para a extração de eventos ordenados cronologicamente a partir de textos clínicos escritos em português brasileiro. A solução foi comparada com Large Language Models (LLMs) do estado da arte e obteve resultados significativos com custo computacional mais baixo.
Avaliando Ferramentas de IA Generativa no Conjunto de Perguntas e Respostas da Receita Federal
Os modelos de linguagem de grande escala (LLMs) revolucionaram a aquisição virtual de informações. Os LLMs são amplamente utilizados em diferentes tarefas, dada sua facilidade de manuseio e alcance de tópicos. Todavia, não é possível garantir precisão na aprendizagem dos modelos acerca de questões escassamente documentadas, mesmo em se tratando de problemáticas relevantes ou úteis ao seu conhecimento, tal como a declaração de imposto de renda no Brasil. Este trabalho então avalia a coerência de respostas trazidas por essas ferramentas generativas e para isso lhes foram submetidas as perguntas mais frequentes no tema. Assim, os resultados revelam que os LLMs comerciais são convenientes para combater dúvidas sobre a DIRPF.
Analisando o Fine-Tuning para Transferência de Conhecimento entre Línguas: um estudo para a Língua Portuguesa
Grandes Modelos de Linguagem (LLMs) desempenham um papel central no cenário moderno de PLN, devido aos seus consistentes bons resultados em muitas tarefas na literatura. No entanto, o treinamento desses modelos envolve altos custos associados. Devido à escassez de dados necessários para tarefas em idiomas com poucos recursos, a literatura tem proposto o uso de tecnologia multiĺıngue combinada com técnicas de transferência de conhecimento entre ĺınguas. Esta pesquisa explora o fine-tuning de modelos para transferência de conhecimento entre ĺınguas para o português, em diversas tarefas, avaliando os trade-offs entre quantidade de dados, recursos computacionais, tempo de treinamento e desempenho do modelo.
Sumarização de opinião multidocumento para o português: comparando um método baseado em grafo com um LLM
Neste artigo, exploramos um método baseado em grafo para sumarização de opinião multidocumento para o português. O método, que consiste em uma versão atualizada do conhecido Opinosis (Ganesan et al., 2010), tem seus resultados comparados aos produzidos por um grande modelo de língua, o Mistral, ao realizar a mesma tarefa para um pequeno corpus.
Da criação de um Corpus ao treinamento de um grande modelo de linguagem: O que pode dar errado em uma IC?
Este artigo apresenta a experiência de uma iniciação cient́ıfica voltada ao desenvolvimento de um chatbot especializado em direito do consumidor. Um dos principais desafios enfrentados foi a criação de um conjunto de dados sintético para permitir o ajuste fino de um modelo de linguagem. Ao longo do processo, diversas dificuldades técnicas e metodológicas foram identificadas, desde a coleta e estruturação dos dados até o treinamento do modelo. O objetivo deste trabalho é relatar essas dificuldades, destacando a importância do erro como parte do processo de aprendizagem cient́ıfica e refletindo sobre os aprendizados obtidos na construção de sistemas jurídicos baseados em IA.
Compilação, modernização e anotação morfossintática de um corpus histórico do nheengatu segundo o modelo das Dependências Universais
Este trabalho apresenta a compilação, a adaptação ortográfica e a anotação morfossintática da variante do nheengatu falada na região do rio Solimões no século XIX. O nheengatu, única língua viva descendente do tupi antigo, assim como muitas línguas minoritárias, não dispunha de corpora anotados sintaticamente até 2022, ano em que foi lançado o treebank UD_NheengatuCompLin na coleção Universal Dependencies (UD). As etapas aqui descritas indicam a expansão desse treebank, contribuindo para o fortalecimento dos recursos disponíveis para a descrição linguística e o processamento computacional do nheengatu.
Anotação Enhanced Rhetorical Structure Theory em textos de User-Generated Content
Este estudo analisa a aplicação da Enhanced Rhetorical Structure Theory (eRST) em textos de User-Generated Content (UGC), especificamente tweets relacionados ao mercado financeiro. Com o auxílio da ferramenta rstWeb, a anotação foi realizada a partir do corpus Dante-Stocks. Os resultados evidenciam a recorrência de determinadas relações eRST, a depender da estruturação semântico-sintática dos tweets, além de apontarem possíveis adaptações das diretrizes de anotação originalmente formuladas para a língua inglesa.
Desafios dos Grafos de Conhecimento: uma proposta de avaliação de sistemas OpenIE
A Extração de Informação Aberta (OpenIE) enfrenta desafios na avaliação de seus modelos. Com a utilização de métricas tradicionais de outras áreas e a ausência de um corpus de ouro, surge a dificuldade de avaliar todas as possíveis extrações geradas pelos modelos. Neste trabalho, propomos um método de avaliação comparativa entre diferentes modelos de OpenIE voltados para a ĺıngua portuguesa utilizando grafos de conhecimento. Os resultados obtidos demonstram que modelos capazes de gerar um maior número de triplas com precisão tendem a oferecer melhor desempenho, evidenciando a importância de equilibrar quantidade e qualidade na tarefa de OpenIE.
LLMs no Combate à Desinformação: A Influência do Tamanho do Modelo na Detecção de Fake News no Brasil
A desinformação e propagação de fake news (notícias falsas) causam grandes impactos negativos em diversas áreas, entre elas a democracia, porque pode ser usada para manipular a opinião pública no processo eleitoral. A literatura científica possui estudos que investigam alternativas para detectar fake news, mas ainda existem diversas lacunas para o idioma português (do Brasil). Nesse sentido, este estudo analisa a hipótese de que a quantidade de parâmetros nos modelos de LLM (do inglês, Large Language Models) impacta na identificação de fake news. Os resultados sugerem que a hipótese é válida. Adicionalmente, outros fatores podem impactar, e que existe um limite de desempenho inerente às características analisadas.
RST Visualizer: Uma ferramenta para a análise comparativa de anotações da Teoria da Estrutura Retórica
Este artigo apresenta a ferramenta RST Visualizer, que surgiu da necessidade de visualizar diferentes camadas de anotações sobre a análise discursiva de textos, tais como sua representação no formato de árvore RST e sinalizadores discursivos de cada relação retórica no nível intra-sentencial. Trata-se de uma ferramenta inédita para apoiar pesquisas que precisam realizar análises qualitativas por meio da comparação visual de diferentes anotações.
SisTIRA: Plataforma Web de Tutoria Inteligente para Avaliação Automática de Respostas Discursivas
Este trabalho apresenta o Sistema de Tutoria Inteligente de Respostas Automáticas (SisTIRA), uma plataforma web para avaliação automática de respostas discursivas. Desenvolvido com NestJS, Prisma e integrado ao Google GenAI (modelo Gemini-1.5-flash-8b), o sistema gerencia provas, bancos de questões e usuários, atribuindo notas de 0.0 a 1.0 com feedback breve. Em testes iniciais com vinte questões, o sistema demonstrou alta consistência e pertinência nos resultados, confirmando sua aplicabilidade em avaliações síncronas. O artigo descreve a arquitetura da solução, os testes de validação e perspectivas de aprimoramento.