Ranking de modelos Multimodais para geração de descrições de espécies animais em armadilhas fotográficas da Amazônia

• Ronald Vieira Cardoso Silva UFAM
• Eulanda M. dos Santos UFAM
• Juan G. Colonna UFAM / VUW

DOI: https://doi.org/10.5753/wcama.2026.23630

Resumo

A análise automática de imagens de armadilhas fotográficas é frequentemente limitada por classificadores que ignoram o contexto ecológico. Este trabalho em andamento investiga o uso de Grandes Modelos Multimodais (LMMs) para mitigar essa lacuna, avaliando-os por meio de métricas taxonômicas e uma metodologia de “Arena” baseada em comparações pareadas às cegas. Foram testados quatorze modelos da OpenAI utilizando os sistemas de pontuação Elo Rating e Bradley-Terry. Como resultado, desenvolveu-se a plataforma web EcoLMM Arena, que sistematiza a coleta de votos de especialistas para gerar rankings de desempenho e qualidade descritiva orientados pela preferência humana.

Referências

L. Alencar, F. Cunha, and E. M. Dos Santos. Zero and few-shot learning with modern mllms to filter empty images in camera trap data. In 2024 37th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), pages 1–6, 2024. DOI: 10.1109/SIBGRAPI62404.2024.10716305.

W.-L. Chiang, L. Zheng, Y. Sheng, A. N. Angelopoulos, T. Li, D. Li, B. Zhu, H. Zhang, M. Jordan, and J. E. Gonzalez. Chatbot arena: An open platform for evaluating llms by human preference. In Forty-first International Conference on Machine Learning, 2024. DOI: 10.48550/arXiv.2403.04132.

V. Gabeff, M. Rußwurm, D. Tuia, and A. Mathis. WildCLIP: Scene and animal attribute retrieval from camera trap data with domain-adapted vision-language models. International Journal of Computer Vision, 132(9):3770–3786, 2024. DOI: 10.1007/s11263-024-02026-6.

D. R. Hunter. Mm algorithms for generalized bradley-terry models. The annals of statistics, 32(1):384–406, 2004. DOI: 10.1214/aos/1079120141.

M. S. Norouzzadeh, A. Nguyen, M. Kosmala, A. Swanson, M. S. Palmer, C. Packer, and J. Clune. Automatically identifying, counting, and describing wild animals in cameratrap images with deep learning. Proceedings of the National Academy of Sciences, 115 (25):E5716–E5725, 2018. DOI: 10.1073/pnas.1719367115.

A. F. O’Connell, J. D. Nichols, and K. U. Karanth. Camera traps in animal ecology: methods and analyses. Springer Tokyo, 2011. ISBN 978-4-431-99495-4. DOI: 10.1007/978-4-431-99495-4.

J. Wu, W. Gan, Z. Chen, S. Wan, and P. S. Yu. Multimodal Large Language Models: A Survey. In IEEE International Conference on Big Data (BigData), pages 2247–2256, 2023. DOI: 10.1109/BigData59044.2023.10386743.