A Comprehensive Exploitation of Instance Selection Methods for Automatic Text Classification: “Doing More with Less”

  • Washington Luiz Miranda da Cunha UFMG

Resumo


Progresso recente em PLN seguiu a tendência de “quanto mais, melhor” (mais dados, poder computacional e complexidade de modelos), exemplificada pelos Grandes Modelos de Linguagem. Contudo, o treinamento desses modelos continua sendo um processo intensivo em recursos. Esta tese de doutorado explora a Seleção de Instâncias (SI), uma técnica de engenharia de dados promissora, porém pouco explorada, que reduz o tamanho do conjunto de treinamento removendo instâncias ruidosas ou redundantes, reduzindo o custo computacional sem sacrificar a qualidade. Avaliamos de forma abrangente os métodos de SI para classificação automática de texto em diversos modelos e 22 conjuntos de dados, revelando um potencial significativo inexplorado. Além disso, propomos dois novos métodos de SI com foco em grandes conjuntos de dados e LLMs. Nossa melhor solução reduziu o tamanho dos conjuntos de treinamento em 41% em média, preservando a qualidade, e alcançou speed-ups de até 2,46x, comprovando sua escalabilidade.

Referências

Andrade, C., Cunha,W., Fonseca, G., Pagano, A., Santos, L., Pagano, A., Rocha, L., and Gonçalves, M. (2024). Explaining the hardest errors of contextual embedding based classifiers. In Proceedings of the 28th Conference on Computational Natural Language Learning.

Bittencourt, G., Vasconcelos, N., Andrade, Y., Silva, N., Cunha, W., Colombo Dias, D. R., Gonçalves, M. A., and Rocha, L. (2025). Review-aware recommender systems (rarss): Recent advances, experimental comparative analysis, discussions, and new directions. ACM Comput. Surv.

Carvalho, D., Pereira, A., Cunha, W., Tuler, E., Dias, D., and Rocha, L. (2025). Uma ferramenta para organização semântica de informações de helpdesk por meio de modelagem de tópicos. In Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia), pages 155–158. SBC.

Carvalho, D., Pereira, A., Tuler, E., Dias, D., Cunha, W., and Rocha, L. (2024). Adapting large language models for topic modeling tasks. In Encontro Nacional de Inteligência Artificial e Computacional (ENIAC), pages 954–965. SBC.

Cecilio, P., Pereira, A., Viegas, F., Rosa, J., Cunha, W., Testa, F., Tuler, E., and Rocha, L. (2023). Um framework para extração automática de informações em patentes farmacêuticas. In Anais Estendidos do XXIX Simpósio Brasileiro de Sistemas Multimídia e Web, pages 97–100. SBC.

Costa, J., Oliveira, G., Fonseca, G., Reis, D., Oliveira Teixeira, G., Cunha, W., Rocha, L., and Ferreira, C. H. (2025). Characterizing youtube’s role in online gambling promotion: A case study of fortune tiger in brazil. In Proceedings of the 17th ACM Web Science Conference 2025, pages 42–51.

Cunha, W., Canuto, S., Viegas, F., Salles, T., Gomes, C., Mangaravite, V., Resende, E., Rosa, T., Gonçalves, M. A., and Rocha, L. (2020). Extended preprocessing pipeline for text classification: On the role of meta-feature representations, sparsification and selective sampling. IP&M, 57(4):102263.

Cunha, W., França, C., Rocha, L., and Gonçalves, M. A. (2023a). Tpdr: A novel two-step transformer-based product and class description match and retrieval method. arXiv preprint arXiv:2310.03491.

Cunha, W., França, C., Fonseca, G., Rocha, L., and Gonçalves, M. A. (2023b). An effective, efficient, and scalable confidence-based instance selection framework for transformer-based text classification. In ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’23.

Cunha, W., Mangaravite, V., Gomes, C., Canuto, S., Resende, E., Nascimento, C., Viegas, F., França, C., Martins, W. S., Almeida, J. M., Rosa, T., Rocha, L., and Gonçalves, M. A. (2021). On the cost-effectiveness of neural and non-neural approaches and representations for text classification: A comprehensive comparative study. Information Processing & Management.

Cunha, W., Moreo, A., Esuli, A., Sebastiani, F., Rocha, L., and Gonçalves, M. (2024a). A noise-oriented and redundancy-aware instance selection framework. ACM Transactions on Information Systems.

Cunha, W., Pasin, A., Goncalves, M., and Ferro, N. (2024b). A quantum annealing instance selection approach for efficient and effective transformer finetuning. In Proceedings of the 2024 ACM SIGIR International Conference on Theory of Information Retrieval.

Cunha, W., Rocha, L., and Gonçalves, M. A. (2025). Inteligência artificial sustentável baseado em engenharia de dados, aprendizado de máquina e transfer ência de conhecimento para processamento de linguagem natural. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 208–212. SBC.

Cunha, W., Viegas, F., França, C., Rosa, T., Rocha, L., and Gonçalves, M. A. (2023c). A comparative survey of instance selection methods applied to nonneural and transformer-based text classification. ACM Comput. Surv.

de Andrade, C. M., Belém, F. M., Cunha, W., França, C., Viegas, F., Rocha, L., and Gonçalves, M. A. (2023). On the class separability of contextual embeddings representations – or “the classifier does not matter when the (text) representation is so good!”. IP&M, 60(4):103336.

de Andrade, C. M. V., Cunha,W., Reis, D., França, C., Apolinário, W. A´ ., de Castro Santos, L., Pagano, A. S., da Rocha, L. C. D., and Gonçalves, M. A. (2026). ”call my big sibling (cmbs)--a confidence-based strategy leveraging instance selection to combine small and large language models for cost-effective text classification. Journal of the Brazilian Computer Society.

DeepSeek et al. (2025). Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning.

Félix, L. G., Cunha, W., de Andrade, C. M., Gonçalves, M. A., and Almeida, J. M. (2025a). Why are you traveling? inferring trip profiles from online reviews and domain-knowledge. Online Social Networks and Media, 45:100296.

Félix, L. G., Cunha, W., Xavier, C. R., de Melo, P. O. V., Gonçalves, M. A., and Almeida, J. M. (2025b). Geração de roteiros turísticos personalizados em tempo real através de heurística grasp adaptada. In Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos (SBRC), pages 196–209. SBC.

Ferreira, A. A., Rocha, L., Cunha,W., Machado, A. C., Campos, J. M., Jallais, G., Viana, A. C., Tuler, E., Araújo, I., Macul, V., et al. (2025). A comprehensive qualitative analysis of patient dialogue summarization using large language models applied to noisy, informal, non-english real-world data. Scientific Reports.

Fonseca, G., Cunha, W., Prenassi, G., Da Rocha, L. C. D., and Gonçalves, M. A. (2026). When high accuracy hides poor calibration: Rethinking confidence evaluation in transformer-based text classification with balanced brier score. In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).

Fonseca, G., Cunha, W., Prenassi, G., Gonçalves, M. A., and Da Rocha, L. C. D. (2025). Instance-selection-inspired undersampling strategies for bias reduction in small and large language models for binary text classification. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 9323–9340.

Fonseca, G., Cunha, W., and Rocha, L. (2024a). Análise comparativa de métodos de undersampling em classificação automática de texto baseada em transformers. Revista Eletrônica de Iniciação Científica em Computação, 22(1).

Fonseca, G., Prenassi, G., Cunha, W., Gonçalves, M. A., and Rocha, L. (2024b). Estratégias de undersampling para redução de viés em classificação de texto baseada em transformers. In Proceedings of the 30th Brazilian Symposium on Multimedia and the Web.

França, C., Nunes, I., Salles, T., Cunha, W., Jallais, G., Rocha, L., and Gonçalves, M. A. (2025a). Muitas classes desbalanceadas? n˜ao classifiqueranqueie! uma abordagem baseada em retrieval-augmented generation (rag)-labels para classificação textual multi-classe. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 264–277. SBC.

França, C., Rabbi, G., Salles, T., Cunha, W., Rocha, L., and André Gonçalves, M. (2025b). Optimizing tail-head trade-off for extreme multi-label text classification (xmtc) with rag-labels and a dynamic two-stage retrieval and fusion pipeline. In Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 1392–1401.

França, C., Lima, R. C., Andrade, C., Cunha, W., de Melo, P. O. S. V., Ribeiro-Neto, B., Rocha, L., Santos, R. L. T., Pagano, A. S., and Gonçalves, M. A. (2024). On representation learning-based methods for effective, efficient, and scalable code retrieval. Neurocomputing.

Garcia, S., Derrac, J., Cano, J., and Herrera, F. (2012). Prototype selection for nearest neighbor classification: Taxonomy and empirical study. IEEE Transactions on Pattern Analysis and Machine Intelligence.

Gonçalves, M. A., Rocha, L., Cunha, W., and Dal Bianco, G. (2025). Mais com menos - processamento de linguagem natural inteligente e sustent ável baseado em engenharia de dados e inteligência artificial avançada. Grandes Desafios da Computaçao no Brasil 2025-2035.

Júnior, A. P. D. S., Cecilio, P., Viegas, F., Cunha, W., Albergaria, E. T. D., and Rocha, L. C. D. D. (2022). Evaluating topic modeling pre-processing pipelines for portuguese texts. In Proceedings of the Brazilian Symposium on Multimedia and the Web, pages 191–201.

Li, Q., Peng, H., Li, J., Xia, C., Yang, R., Sun, L., Yu, P. S., and He, L. (2022). A survey on text classification: From traditional to deep learning. ACM Transactions on Intelligent Systems and Technology (TIST), 13(2):1–41.

Martins, K., Vaz de Melo, P., and Santos, R. (2021). Why do document-level polarity classifiers fail? In Proceedings of the 2021 Conference of the NAACL: Human Language Technologies.

Mendes, L. F., Gonçalves, M. A., Cunha, W., da Rocha, L. C., Rosa, T. C., and Martins, W. (2020). ”keep it simple, lazy-metalazy: A new metastrategy for lazy text classification. In CIKM ’20: The 29th ACM International Conference on Information and Knowledge Management, Virtual Event, Ireland, October 19-23, 2020, pages 1125–1134. ACM.

Pasin, A., Cunha, W., Gonçalves, M. A., Ferro, N., et al. (2022). A quantum annealing-based instance selection approach for transformer fine-tuning. In the 14th Italian Information Retrieval Workshop.

Pasin, A., Dacrema, M. F., Cremonesi, P., Cunha,W., Gonçalves, M. A., and Ferro, N. (2026a). Quantumclef 2026 the third edition of the quantum computing lab at clef. In European Conference on Information Retrieval, pages 306–314. Springer.

Pasin, A., Dacrema, M. F., Cremonesi, P., Cunha,W., Gonçalves, M. A., and Ferro, N. (2026b). Quantumclef 2026 the third edition of the quantum computing lab at clef. In European Conference on Information Retrieval, pages 306–314. Springer.

Pasin, A., Ferrari Dacrema, M., Cunha, W., André Gonçalves, M., Cremonesi, P., and Ferro, N. (2025a). Overview of quantumclef 2025: The second quantum computing challenge for information retrieval and recommender systems at clef. In International Conference of the Cross-Language Evaluation Forum for European Languages, pages 412–435. Springer.

Pasin, A., Ferrari Dacrema, M., Cunha, W., Gonçalves, M. A., Cremonesi, P., Ferro, N., et al. (2025b). Quantumclef 2025: Overview of the second quantum computing challenge for information retrieval and recommender systems at clef. In CEUR WORKSHOP PROCEEDINGS, volume 4038, pages 4086–4104. CEUR-WS.

Prenassi, G. S., Fonseca, G., Reis, D., Cunha, W., Gonçalves, M. A., and Rocha, L. (2025). Um estudo comparativo de estratégias de seleção de exemplos para in-context learning aplicado à classificação automática de texto com grandes modelos de linguagem. In Simpósio Brasileiro de Banco de Dados (SBBD), pages 921–927. SBC.

Rajaraman, S., Ganesan, P., and Antani, S. (2022). Deep learning model calibration for improving performance in class-imbalanced medical image classification tasks. PloS one.

Roy, A. and Cambria, E. (2022). Soft labeling constraint for generalizing from sentiments in single domain. Knowledge-Based Systems, 245:108346.

Santos, W., Cunha, W., França, C., Fonseca, G., Canuto, S., Rocha, L., and Gonçalves, M. (2023). Uma metodologia para tratamento do viés da maioria em modelos de stacking via identificação de documentos difíceis. In Anais do XXXVIII Simpósio Brasileiro de Bancos de Dados, pages 408–413. SBC.

Silva, N., Reis, D., Cunha, W., Tuler, E., Silva, T., Silva, N., , and Rocha, L. (2024). Integrando avaliações textuais de usuários em recomendação baseada em aprendizado por reforço. In Proceedings of the 30th Brazilian Symposium on Multimedia and the Web.

Uppaal, R., Hu, J., and Li, Y. (2023). Is fine-tuning needed? pretrained language models are near perfect for out-of-domain detection. arXiv preprint arXiv:2305.13282.

Viegas, F., Canuto, S., Cunha, W., França, C., Valiense, C., Rocha, L., and Gonçalves, M. A. (2023). Clusent–combining semantic expansion and denoising for dataset-oriented sentiment analysis of short texts. In Proceedings of the 29th Brazilian Symposium on Multimedia and the Web, pages 110–118.

Viegas, F., Canuto, S., Cunha, W., França, C., Valiense, C., Fonseca, G., Machado, A., Rocha, L., and Gonçalves, M. (2024a). Pipelining semantic expansion and noise filtering for sentiment analysis of short documents – clusent method. Journal on Interactive Systems, 15(1).

Viegas, F., Canuto, S., Gomes, C., Luiz, W., Rosa, T., Ribas, S., Rocha, L., and Gonçalves, M. A. (2019). Cluwords: Exploiting semantic word clustering representation for enhanced topic modeling. In Proceedings of WSDM ’19, pages 753–761.

Viegas, F., Cunha, W., Gomes, C., Pereira, A., da Rocha, L. C., and Gonçalves, M. A. (2020). Cluhtm semantic hierarchical topic modeling based on cluwords. In Jurafsky, D., Chai, J., Schluter, N., and Tetreault, J. R., editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020, pages 8138–8150. Association for Computational Linguistics.

Viegas, F., Pereira, A., Cunha, W., França, C., Andrade, C., Tuler, E., Rocha, L., and Gonçalves, M. A. (2024b). Exploiting contextual embeddings in hierarchical topic modeling and investigating the limits of the current evaluation metrics. Computational Linguistics, pages 1–41.

Zanotto, B., Etges, A., Dal Bosco, A., Cortes, E., Ruschel, R., Martins, S., Souza, A., Valiense, C., Viegas, F., Canuto, S., et al. (2021a). Pcv50 automatic classification of electronic health records for a value-based program through machine learning. Value in Health, 24:S76.

Zanotto, B. S., Beck da Silva Etges, A. P., dal Bosco, A., Cortes, E. G., Ruschel, R., De Souza, A. C., Andrade, C. M. V., Viegas, F., Canuto, S., Luiz, W., Ouriques Martins, S., Vieira, R., Polanczyk, C., and André Gonçalves, M. (2021b). Stroke outcome measurements from electronic medical records: Crosssectional study on the effectiveness of neural and nonneural classifiers. JMIR Med Inform, 9(11):e29120.
Publicado
19/10/2026
CUNHA, Washington Luiz Miranda da. A Comprehensive Exploitation of Instance Selection Methods for Automatic Text Classification: “Doing More with Less”. In: CONCURSO DE TESES E DISSERTAÇÕES EM INTELIGÊNCIA ARTIFICIAL E COMPUTACIONAL (CTDIAC), 15. , 2026, Cuiabá/MT. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2026 . p. 135-152. DOI: https://doi.org/10.5753/ctdiac.2026.34031.