Investigating Bias in Deep Learning for Gender and Race Classification: A Comparative Study with ConvNeXt on Balanced and Biased Datasets
Abstract
This work investigates the impact of data bias on race and gender rediction through a comparative experimental approach. The balanced FairFace and unbalanced CelebA datasets were used, with attribute preprocessing and harmonization. A multitask ConvNeXt-Tiny model was trained in both intraand cross-domain scenarios. The evaluation included traditional metrics and intersectional analysis to identify performance disparities. Results show that biased data lead to poorer performance and greater bias, while balanced data promote higher accuracy, robustness, and fairness. It is concluded that data balancing is essential for the effectiveness and fairness of deep learning systems.References
ALSHARIF, B.; ALTAHER, A.; ALTAHER, A.; ILYAS, M.; ALALWANY, E. (2023). Deep learning technology to recognize american sign language alphabet. Sensors, 23(18), 7970. DOI: 10.3390/s23187970. Acesso em: 02 jun. 2025.
ARAGÃO, H.; SANTANA, J.; SILVA, G.; SANTANA, M.; SILVA, L.; OLIVEIRA, M.; MELO, C. (2022). Impactos da covid-19 à luz dos marcadores sociais de diferença: raça, gênero e classe social. Saúde Em Debate, 46(spe1), 338-347. DOI: 10.1590/0103-11042022e123. Acesso em: 02 jun. 2025.
BARROS, M.; LINS, R.; RODRIGUES, I. (2024). Avaliação de redes neurais deep learning para a classificação de câncer de mama. Cuadernos De Educación Y Desarrollo, 16(8), e5325. DOI: 10.55905/cuadv16n8-124. Acesso em: 02 jun. 2025.
BUOLAMWINI, J.; GEBRU, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Conference on Fairness, Accountability, and Transparency (FAT), Anais... [link]. Acesso em: 29 mai. 2025.
CHEN, Y.; WEI, C.; KUMAR, A.; MA, T. (2020). Self-training avoids using spurious features under domain shift. arXiv preprint. DOI: 10.48550/arxiv.2006.10032. Acesso em: 02 jun. 2025.
DENG, J. et al. (2009). ImageNet: A Large-Scale Hierarchical Image Database. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Anais..., p. 248–255. [link]. Acesso em: 29 mai. 2025.
ELIAS, M.; FAVERSANI, L.; MOREIRA, J.; MASIERO, A.; CUNHA, N. (2023). Inteligência artificial em saúde e implicações bioéticas: uma revisão sistemática. Revista Bioética, 31. DOI: 10.1590/1983-803420233542en. Acesso em: 02 jun. 2025.
ERICKSON, B.; KORFIATIS, P.; AKKUS, Z.; KLINE, T.; PHILBRICK, K. (2017). Toolkits and libraries for deep learning. Journal of Digital Imaging, 30(4), 400-405. DOI: 10.1007/s10278-017-9965-6. Acesso em: 02 jun. 2025.
FERREIRA, C.; SALLES, A. (2022). Uma análise além da renda: o pioneirismo de gunnar myrdal na abordagem econômica sobre as desigualdades sociais. Estudos Econômicos (São Paulo), 52(1), 155-183. DOI: 10.1590/1980-53575215ccas. Acesso em: 02 jun. 2025.
FIORATI, R.; CÂNDIDO, F.; SOUZA, L.; POPOLIN, M.; RAMOS, A.; ARCÊNCIO, R. (2018). Desigualdades sociais e os desafios à estratégia de eliminação da tuberculose no brasil. Vittalle - Revista De Ciências Da Saúde, 30(2), 59-72. DOI: 10.14295/vittalle.v30i2.7502. Acesso em: 02 jun. 2025.
HE, K.; ZHANG, X.; REN, S.; SUN, J. (2016). Deep Residual Learning for Image Recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Anais... [link]. Acesso em: 02 jun. 2025.
HENRIQUES, I.; SAMPAIO, I. (2022). Discriminação algorítmica e inclusão em sistemas de inteligência artificial - uma reflexão sob a ótica dos direitos da criança no
ambiente digital. Direito Público, 18(100). DOI: 10.11117/rdp.v18i100.5993. Acesso em: 02 jun. 2025.
JÚNIOR, J.; LIMA, P.; PASSOS, T.; MARTINS, P.; SILVA, M.; ROSADO, S.; HUBER, N. (2024). Educação na era dos algoritmos: como a hiperconectividade está moldando os processos de ensino e aprendizagem. Contribuciones a Las Ciencias Sociales, 17(5), e6486. DOI: 10.55905/revconv.17n.5-004. Acesso em: 02 jun. 2025.
KAMIRAN, F.; KARIM, A.; ZHANG, X. (2012). Decision theory for discrimination-aware classification. In: IEEE 12th International Conference on Data Mining, Anais... DOI: 10.1109/icdm.2012.45. Acesso em: 02 jun. 2025.
KÄRKKÄINEN, K.; JOO, J. (2021). FairFace: Face Attribute Dataset for Balanced Race, Gender, and Age. arXiv preprint. [link]. Acesso em: 02 jun. 2025.
KASSAM, A.; MARINO, P. (2022). Algorithmic racial discrimination. Feminist Philosophy Quarterly, 8(3/4). DOI: 10.5206/fpq/2022.3/4.14275. Acesso em: 02 jun. 2025.
KAUSHIK, P. (2023). Deep learning and machinelearning to diagnose melanoma. International Journal of Research in Science and Technology, 13(01), 58-72. DOI: 10.37648/ijrst.v13i01.008. Acesso em: 02 jun. 2025.
KIM, B.; KIM, H.; KIM, K.; KIM, S.; KIM, J. (2019). Learning not to learn: training deep neural networks with biased data. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Anais..., p. 9004-9012. DOI: 10.1109/cvpr.2019.00922. Acesso em: 02 jun. 2025.
LECUN, Y.; BENGIO, Y.; HINTON, G. (2015). Deep learning. Nature, 521(7553), 436-444. DOI: 10.1038/nature14539. Acesso em: 02 jun. 2025.
LETT, E.; SHAHBANDEGAN, S.; BARAK–CORREN, Y.; FINE, A.; CAVA, W. (2024). Intersectional consequences for marginal fairness in prediction models for emergency admissions. medRxiv preprint. DOI: 10.1101/2024.11.05.24316769. Acesso em: 02 jun. 2025.
LIN, M.; LI, T.; YANG, Y.; HOLSTE, G.; DING, Y.; TASSEL, S.; PENG, Y. (2023). Improving model fairness in image-based computer-aided diagnosis. Nature Communications, 14(1). DOI: 10.1038/s41467-023-41974-4. Acesso em: 02 jun. 2025.
LIU, Z.; MAO, H.; WU, C.; FEICHTENHOFER, C.; DARRELL, T.; XIE, S. (2022). A convnet for the 2020s. arXiv preprint. DOI: 10.48550/arxiv.2201.03545. Acesso em: 02 jun. 2025.
LIU, Z. et al. (2015). Deep Learning Face Attributes in the Wild. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV), Anais... [link]. Acesso em: 29 mai. 2025.
LOSHCHILOV, I.; HUTTER, F. (2019). Decoupled Weight Decay Regularization. arXiv preprint. [link]. Acesso em: 02 jun. 2025.
MCKINNEY, W. (2010). Data Structures for Statistical Computing in Python. In: Proceedings of the Python in Science Conference, Anais... [link]. Acesso em: 29 mai. 2025.
MEHRABI, N.; MORSTATTER, F.; SAXENA, N.; LERMAN, K.; GALSTYAN, A. (2021). A survey on bias and fairness in machine learning. Acm Computing Surveys, 54(6), 1-35. DOI: 10.1145/3457607. Acesso em: 02 jun. 2025.
NAJAFABADI, M.; VILLANUSTRE, F.; KHOSHGOFTAAR, T.; SELIYA, N.; WALD, R.; MUHAREMAGIC, E. (2015). Deep learning applications and challenges in big data analytics. Journal of Big Data, 2(1). DOI: 10.1186/s40537-014-0007-7. Acesso em: 02 jun. 2025.
ONG, J.-H. et al. Implementation of a deep learning model for automated classification of Aedes aegypti (Linnaeus) and Aedes albopictus (Skuse) in real time. Scientific Reports, v. 11, n. 1, p. 10431, Mai. 2021. Disponível em: DOI: 10.1038/s41598-021-89365-3. Acesso em: 11 jun. 2025.
PAGANO, T.; LOUREIRO, R.; LISBOA, F.; PEIXOTO, R.; GUIMARÃES, G.; CRUZ, G.; NASCIMENTO, E. (2023). Bias and unfairness in machine learning models: a systematic review on datasets, tools, fairness metrics, and identification and mitigation methods. Big Data and Cognitive Computing, 7(1), 15. DOI: 10.3390/bdcc7010015. Acesso em: 02 jun. 2025.
PASZKE, A. et al. (2019). PyTorch: An Imperative Style, High-Performance Deep Learning Library. In: Advances in Neural Information Processing Systems (NeurIPS), Anais... [link]. Acesso em: 02 jun. 2025.
PEDREGOSA, F. et al. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, 12, 2825–2830. [link]. Acesso em: 29 mai. 2025.
RIBEIRO, E.; BORGES, D. (2022). Percepções de bem-estar nas favelas da maré. Civitas - Revista De Ciências Sociais, 22, e41764. DOI: 10.15448/1984-7289.2022.1.41764. Acesso em: 02 jun. 2025.
ROSSETTI, R.; ANGELUCI, A. (2021). Ética algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. Galáxia (São Paulo), (46). DOI: 10.1590/1982-2553202150301. Acesso em: 02 jun. 2025.
SARKER, I. (2021). Deep learning: a comprehensive overview on techniques, taxonomy, applications and research directions. Sn Computer Science, 2(6). DOI: 10.1007/s42979-021-00815-1. Acesso em: 02 jun. 2025.
TSAI, P.-Y. et al. Lumbar Disc Herniation Automatic Detection in Magnetic Resonance Imaging Based on Deep Learning. Frontiers in Bioengineering and Biotechnology, v. 9, p. 708137, Jul. 2021. Disponível em: DOI: 10.3389/fbioe.2021.708137. Acesso em: 11 jun. 2025.
UPADHYAY, A. (2017). Significant enhancements in machine translation by various deep learning approaches. American Journal of Computer Science and Information Technology, 05(02). DOI: 10.21767/2349-3917.100008. Acesso em: 02 jun. 2025.
WANG, P.; JIANG, Q.; LIU, B. (2023). Image processing of the special sensor microwave/imager based on passive microwave remote sensing. In: Sixth
International Conference on Computer Information Science and Application Technology, Anais... DOI: 10.1117/12.2684592. Acesso em: 02 jun. 2025.
YUAN, H. (2023). Current perspective on artificial intelligence, machine learning and deep learning. Applied and Computational Engineering, 19(1), 116-122. DOI: 10.54254/2755-2721/19/20231019. Acesso em: 02 jun. 2025.
ARAGÃO, H.; SANTANA, J.; SILVA, G.; SANTANA, M.; SILVA, L.; OLIVEIRA, M.; MELO, C. (2022). Impactos da covid-19 à luz dos marcadores sociais de diferença: raça, gênero e classe social. Saúde Em Debate, 46(spe1), 338-347. DOI: 10.1590/0103-11042022e123. Acesso em: 02 jun. 2025.
BARROS, M.; LINS, R.; RODRIGUES, I. (2024). Avaliação de redes neurais deep learning para a classificação de câncer de mama. Cuadernos De Educación Y Desarrollo, 16(8), e5325. DOI: 10.55905/cuadv16n8-124. Acesso em: 02 jun. 2025.
BUOLAMWINI, J.; GEBRU, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Conference on Fairness, Accountability, and Transparency (FAT), Anais... [link]. Acesso em: 29 mai. 2025.
CHEN, Y.; WEI, C.; KUMAR, A.; MA, T. (2020). Self-training avoids using spurious features under domain shift. arXiv preprint. DOI: 10.48550/arxiv.2006.10032. Acesso em: 02 jun. 2025.
DENG, J. et al. (2009). ImageNet: A Large-Scale Hierarchical Image Database. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Anais..., p. 248–255. [link]. Acesso em: 29 mai. 2025.
ELIAS, M.; FAVERSANI, L.; MOREIRA, J.; MASIERO, A.; CUNHA, N. (2023). Inteligência artificial em saúde e implicações bioéticas: uma revisão sistemática. Revista Bioética, 31. DOI: 10.1590/1983-803420233542en. Acesso em: 02 jun. 2025.
ERICKSON, B.; KORFIATIS, P.; AKKUS, Z.; KLINE, T.; PHILBRICK, K. (2017). Toolkits and libraries for deep learning. Journal of Digital Imaging, 30(4), 400-405. DOI: 10.1007/s10278-017-9965-6. Acesso em: 02 jun. 2025.
FERREIRA, C.; SALLES, A. (2022). Uma análise além da renda: o pioneirismo de gunnar myrdal na abordagem econômica sobre as desigualdades sociais. Estudos Econômicos (São Paulo), 52(1), 155-183. DOI: 10.1590/1980-53575215ccas. Acesso em: 02 jun. 2025.
FIORATI, R.; CÂNDIDO, F.; SOUZA, L.; POPOLIN, M.; RAMOS, A.; ARCÊNCIO, R. (2018). Desigualdades sociais e os desafios à estratégia de eliminação da tuberculose no brasil. Vittalle - Revista De Ciências Da Saúde, 30(2), 59-72. DOI: 10.14295/vittalle.v30i2.7502. Acesso em: 02 jun. 2025.
HE, K.; ZHANG, X.; REN, S.; SUN, J. (2016). Deep Residual Learning for Image Recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Anais... [link]. Acesso em: 02 jun. 2025.
HENRIQUES, I.; SAMPAIO, I. (2022). Discriminação algorítmica e inclusão em sistemas de inteligência artificial - uma reflexão sob a ótica dos direitos da criança no
ambiente digital. Direito Público, 18(100). DOI: 10.11117/rdp.v18i100.5993. Acesso em: 02 jun. 2025.
JÚNIOR, J.; LIMA, P.; PASSOS, T.; MARTINS, P.; SILVA, M.; ROSADO, S.; HUBER, N. (2024). Educação na era dos algoritmos: como a hiperconectividade está moldando os processos de ensino e aprendizagem. Contribuciones a Las Ciencias Sociales, 17(5), e6486. DOI: 10.55905/revconv.17n.5-004. Acesso em: 02 jun. 2025.
KAMIRAN, F.; KARIM, A.; ZHANG, X. (2012). Decision theory for discrimination-aware classification. In: IEEE 12th International Conference on Data Mining, Anais... DOI: 10.1109/icdm.2012.45. Acesso em: 02 jun. 2025.
KÄRKKÄINEN, K.; JOO, J. (2021). FairFace: Face Attribute Dataset for Balanced Race, Gender, and Age. arXiv preprint. [link]. Acesso em: 02 jun. 2025.
KASSAM, A.; MARINO, P. (2022). Algorithmic racial discrimination. Feminist Philosophy Quarterly, 8(3/4). DOI: 10.5206/fpq/2022.3/4.14275. Acesso em: 02 jun. 2025.
KAUSHIK, P. (2023). Deep learning and machinelearning to diagnose melanoma. International Journal of Research in Science and Technology, 13(01), 58-72. DOI: 10.37648/ijrst.v13i01.008. Acesso em: 02 jun. 2025.
KIM, B.; KIM, H.; KIM, K.; KIM, S.; KIM, J. (2019). Learning not to learn: training deep neural networks with biased data. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Anais..., p. 9004-9012. DOI: 10.1109/cvpr.2019.00922. Acesso em: 02 jun. 2025.
LECUN, Y.; BENGIO, Y.; HINTON, G. (2015). Deep learning. Nature, 521(7553), 436-444. DOI: 10.1038/nature14539. Acesso em: 02 jun. 2025.
LETT, E.; SHAHBANDEGAN, S.; BARAK–CORREN, Y.; FINE, A.; CAVA, W. (2024). Intersectional consequences for marginal fairness in prediction models for emergency admissions. medRxiv preprint. DOI: 10.1101/2024.11.05.24316769. Acesso em: 02 jun. 2025.
LIN, M.; LI, T.; YANG, Y.; HOLSTE, G.; DING, Y.; TASSEL, S.; PENG, Y. (2023). Improving model fairness in image-based computer-aided diagnosis. Nature Communications, 14(1). DOI: 10.1038/s41467-023-41974-4. Acesso em: 02 jun. 2025.
LIU, Z.; MAO, H.; WU, C.; FEICHTENHOFER, C.; DARRELL, T.; XIE, S. (2022). A convnet for the 2020s. arXiv preprint. DOI: 10.48550/arxiv.2201.03545. Acesso em: 02 jun. 2025.
LIU, Z. et al. (2015). Deep Learning Face Attributes in the Wild. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV), Anais... [link]. Acesso em: 29 mai. 2025.
LOSHCHILOV, I.; HUTTER, F. (2019). Decoupled Weight Decay Regularization. arXiv preprint. [link]. Acesso em: 02 jun. 2025.
MCKINNEY, W. (2010). Data Structures for Statistical Computing in Python. In: Proceedings of the Python in Science Conference, Anais... [link]. Acesso em: 29 mai. 2025.
MEHRABI, N.; MORSTATTER, F.; SAXENA, N.; LERMAN, K.; GALSTYAN, A. (2021). A survey on bias and fairness in machine learning. Acm Computing Surveys, 54(6), 1-35. DOI: 10.1145/3457607. Acesso em: 02 jun. 2025.
NAJAFABADI, M.; VILLANUSTRE, F.; KHOSHGOFTAAR, T.; SELIYA, N.; WALD, R.; MUHAREMAGIC, E. (2015). Deep learning applications and challenges in big data analytics. Journal of Big Data, 2(1). DOI: 10.1186/s40537-014-0007-7. Acesso em: 02 jun. 2025.
ONG, J.-H. et al. Implementation of a deep learning model for automated classification of Aedes aegypti (Linnaeus) and Aedes albopictus (Skuse) in real time. Scientific Reports, v. 11, n. 1, p. 10431, Mai. 2021. Disponível em: DOI: 10.1038/s41598-021-89365-3. Acesso em: 11 jun. 2025.
PAGANO, T.; LOUREIRO, R.; LISBOA, F.; PEIXOTO, R.; GUIMARÃES, G.; CRUZ, G.; NASCIMENTO, E. (2023). Bias and unfairness in machine learning models: a systematic review on datasets, tools, fairness metrics, and identification and mitigation methods. Big Data and Cognitive Computing, 7(1), 15. DOI: 10.3390/bdcc7010015. Acesso em: 02 jun. 2025.
PASZKE, A. et al. (2019). PyTorch: An Imperative Style, High-Performance Deep Learning Library. In: Advances in Neural Information Processing Systems (NeurIPS), Anais... [link]. Acesso em: 02 jun. 2025.
PEDREGOSA, F. et al. (2011). Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research, 12, 2825–2830. [link]. Acesso em: 29 mai. 2025.
RIBEIRO, E.; BORGES, D. (2022). Percepções de bem-estar nas favelas da maré. Civitas - Revista De Ciências Sociais, 22, e41764. DOI: 10.15448/1984-7289.2022.1.41764. Acesso em: 02 jun. 2025.
ROSSETTI, R.; ANGELUCI, A. (2021). Ética algorítmica: questões e desafios éticos do avanço tecnológico da sociedade da informação. Galáxia (São Paulo), (46). DOI: 10.1590/1982-2553202150301. Acesso em: 02 jun. 2025.
SARKER, I. (2021). Deep learning: a comprehensive overview on techniques, taxonomy, applications and research directions. Sn Computer Science, 2(6). DOI: 10.1007/s42979-021-00815-1. Acesso em: 02 jun. 2025.
TSAI, P.-Y. et al. Lumbar Disc Herniation Automatic Detection in Magnetic Resonance Imaging Based on Deep Learning. Frontiers in Bioengineering and Biotechnology, v. 9, p. 708137, Jul. 2021. Disponível em: DOI: 10.3389/fbioe.2021.708137. Acesso em: 11 jun. 2025.
UPADHYAY, A. (2017). Significant enhancements in machine translation by various deep learning approaches. American Journal of Computer Science and Information Technology, 05(02). DOI: 10.21767/2349-3917.100008. Acesso em: 02 jun. 2025.
WANG, P.; JIANG, Q.; LIU, B. (2023). Image processing of the special sensor microwave/imager based on passive microwave remote sensing. In: Sixth
International Conference on Computer Information Science and Application Technology, Anais... DOI: 10.1117/12.2684592. Acesso em: 02 jun. 2025.
YUAN, H. (2023). Current perspective on artificial intelligence, machine learning and deep learning. Applied and Computational Engineering, 19(1), 116-122. DOI: 10.54254/2755-2721/19/20231019. Acesso em: 02 jun. 2025.
Published
2025-07-01
How to Cite
COELHO, Gregory G. Ozaki; LIMA, Taíza P. de Oliveira; BABA, Leano Guerreiro.
Investigating Bias in Deep Learning for Gender and Race Classification: A Comparative Study with ConvNeXt on Balanced and Biased Datasets. In: ICET TECHNOLOGY CONFERENCE (CONNECTECH), 2. , 2025, Itacoatiara/AM.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2025
.
p. 97-112.
DOI: https://doi.org/10.5753/connect.2025.12360.
