When Do Spectral-Spatial Transformers Surpass Classical Ensembles in Hyperspectral Image Classification? A Leakage-Aware Supervised Evaluation

• João Vítor Fonseca de Mendonça UFRN
• Anne Magaly de Paula Canuto UFRN
• Marcio Eduardo Kreutz UFRN

DOI: https://doi.org/10.5753/eniac.2026.31414

Resumo

A classificação de imagens hiperespectrais é fortemente afetada por poucos rótulos, desbalanceamento de classes e autocorrelação espacial. Essas características tornam a comparação entre classificadores clássicos e modelos baseados em Transformers particularmente sensível à forma como treino e teste são separados. Avaliamos Transformers espectrais e espectral-espaciais em conjunto com modelos clássicos em cinco cenas públicas, com cinco sementes e partições espaciais que controlam vazamento. A análise principal contrasta SVM-RBF com um Transformer espectral-espacial sob protocolos aleatório e espacialmente bloqueado. O Transformer alcança acurácia global muito alta na divisão aleatória por pixel, mas sua vantagem diminui ou se inverte quando a avaliação separa regiões espacialmente. O comportamento também depende da métrica: ganhos de acurácia global nem sempre produzem melhores valores de acurácia média ou F1 macro. Os resultados mostram que o valor prático do contexto espacial depende do protocolo de avaliação, da cena e da métrica de interesse, enquanto modelos clássicos permanecem alternativas fortes quando generalização geográfica e custo computacional são relevantes.

Referências

Belgiu, M. and Draguţ, L. (2016). Random forest in remote sensing: A review of applications and future directions. ISPRS Journal of Photogrammetry and Remote Sensing, 114:24–31.

Camps-Valls, G., Tuia, D., Bruzzone, L., and Benediktsson, J. A. (2014). Advances in hyperspectral image classification: Earth monitoring with statistical learning methods. IEEE Signal Processing Magazine, 31(1):45–54.

Cao, Y. et al. (2026). Transformers meet hyperspectral imaging: A comprehensive study of models, challenges and open problems. Engineering Applications of Artificial Intelligence, 169:113947.

Chen, Y., Jiang, H., Li, C., Jia, X., and Ghamisi, P. (2016). Deep feature extraction and classification of hyperspectral images based on convolutional neural networks. IEEE Transactions on Geoscience and Remote Sensing, 54(10):6232–6251.

Grupo de Inteligencia Computacional (2026). Hyperspectral remote sensing scenes. Universidad del País Vasco (UPV/EHU). Accessed: 2026-06-22.

Hong, D., Han, Z., Yao, J., Gao, L., Zhang, B., and Chanussot, J. (2022). SpectralFormer: Rethinking hyperspectral image classification with transformers. IEEE Transactions on Geoscience and Remote Sensing, 60:1–15.

Hu, Y. et al. (2023). Information leakage in deep learning-based hyperspectral image classification: A survey. Remote Sensing, 15(15):3793.

Yang, X., Cao, W., Yao, L., and Zhou, Y. (2022). Hyperspectral image transformer classification networks. IEEE Transactions on Geoscience and Remote Sensing, 60:1–15.