Geração de Imagens Aéreas com Modelos de Difusão Controláveis: Um Estudo de Caso de Data Augmentation com Fine-Tuning de ControlNet para Florestas Contendo Pinus - Justus, Thiago Innani; Gonsalves, Amanda; Giraldi, Gilson; Minetto, Rodrigo; Andrade, Mauren Louise Sguario Coelho de (Anais Estendidos da Conference on Graphics, Patterns and Images (SIBGRAPI); 2025: Anais Estendidos da XXXVIII Conference on Graphics, Patterns and Images, 2025)
Este trabalho apresenta um método para a expansão de datasets de imagens aéreas através do fine-tuning de modelos de difusão controláveis, com foco no monitoramento de florestas de pinus no Brasil. Partindo do modelo pré-treinado Seg2Sat, que combina Stable Diffusion com ControlNet, este estudo realiza um processo de fine-tuning com um dataset customizado de 29 imagens de alta resolução. O trabalho introduz uma nova classe semântica, “pinus”, através de máscaras de segmentação multi-classe e prompts de texto correspondentes. Os resultados, avaliados pelas métricas FID (Fréchet Inception Distance) e CLIP Score, demonstram que o modelo aprende com sucesso a gerar a nova classe de acordo com o controlo espacial da máscara. O estudo conclui que, mesmo com um dataset extremamente limitado, o fine-tuning do ControlNet é uma abordagem viável e promissora para data augmentation em aplicações de sensoriamento remoto e monitoramento florestal.