Meta-learning for screening data with label noise

• Matheus Bueno Figueiredo Lima ITA
• Ana Carolina Lorena ITA

DOI: https://doi.org/10.5753/eniac.2026.31268

Resumo

O desempenho de modelos de aprendizado supervisionado depende da qualidade dos dados de treinamento, e práticas centradas nos dados priorizam a revisão de instâncias suspeitas nos fluxos de triagem. Erros e ruído de rotulagem comprometem a generalização, enquanto a inspeção manual de todo o conjunto é onerosa, o que motiva o uso de estratégias centradas em dados para a sua detecção. Este trabalho avalia se medidas de dificuldade de instância podem ser usadas como entrada para um meta-classificador binário para detectar potenciais ruídos nos dados, e contrasta descritores de dificuldade baseados nos dados com descritores baseados na dinâmica de treino. Experimentalmente, os meta-modelos com descritores de dificuldade baseados em dados foram capazes de identificar aproximadamente o dobro de instâncias ruidosas em comparação com uma inspeção aleatória, com o mesmo orçamento.

Referências

Frénay, B. and Verleysen, M. (2014). Classification in the presence of label noise: A survey. IEEE Trans. on Neural Networks and Learning Systems, 25(5):845–869.

Jain, N., Suggala, A. S., and Shenoy, P. (2024). Improving generalization via meta-learning on hard samples. [link].

Jiang, H. and Nachum, O. (2020). Identifying and correcting label bias in machine learning. In Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics (AISTATS), pages 702–712.

Lorena, A. C., Paiva, P. Y., and Prudêncio, R. B. (2024). Trusting my predictions: on the value of instance-level analysis. ACM Computing Surveys, 56(7):1–28.

Paiva, P. Y. A., Moreno, C. C., Smith-Miles, K., Valeriano, M. G., and Lorena, A. C. (2022). Relating instance hardness to classification performance in a dataset: a visual approach. Machine Learning, 111(8):3085–3123.

Paul, M., Ganguli, S., and Dziugaite, G. K. (2021). Deep learning on a data diet: Finding important examples early in training. In Advances in Neural Information Processing Systems (NeurIPS), volume 34, pages 20596–20607.

Pleiss, G., Zhang, T., Elenberg, E. R., and Weinberger, K. Q. (2020). Identifying mislabeled data using the Area Under the Margin ranking. In Advances in Neural Information Processing Systems (NeurIPS), volume 33, pages 17044–17056.

Polyzotis, N., Roy, S., Whang, S. E., and Zinkevich, M. (2017). Data management challenges in production machine learning. In Proceedings of the 2017 ACM International Conference on Management of Data (SIGMOD), pages 1723–1726.

Seedat, N., Crabbé, J., Bica, I., and van der Schaar, M. (2022). Data-IQ: Characterizing subgroups with heterogeneous outcomes in tabular data. In Advances in Neural Information Processing Systems (NeurIPS), volume 35.

Seedat, N., Imrie, F., and van der Schaar, M. (2024). Dissecting sample hardness: A fine-grained analysis of hardness characterization methods for data-centric ai. In Proceedings of the International Conference on Learning Representations (ICLR).

Smith, M. R., Martinez, T., and Giraud-Carrier, C. (2014). An instance level analysis of data complexity. Machine Learning, 95(2):225–256.

Sorscher, B., Geirhos, R., Shekhar, S., Ganguli, S., and Morcos, A. S. (2022). Beyond neural scaling laws: Beating power law scaling via data pruning. In Advances in Neural Information Processing Systems (NeurIPS), volume 35.

Toneva, M., Sordoni, A., Combes, R. T. d., Trischler, A., Bengio, Y., and Gordon, G. J. (2019). An empirical study of example forgetting during deep neural network learning. In International Conference on Learning Representations (ICLR).

Zha, D., Bhat, Z. P., Lai, K.-H., Yang, F., and Hu, X. (2023). Data-centric ai: Perspectives and challenges. In Proceedings of the 2023 SIAM international conference on data mining (SDM), pages 945–948. SIAM.

Zha, D., Bhat, Z. P., Lai, K.-H., Yang, F., Jiang, Z., Zhong, S., and Hu, X. (2025). Data-centric artificial intelligence: A survey. ACM Computing Surveys, 57(5). 42 pages.