Artificial Intelligence for Book Cover Recognition and Virtual Annotation on Physical Books: An Approach to Support Academic Study

• Vitor Jacinto Frassetto Unesc
• André Faria Ruaro Unesc
• Leila Laís Gonçalves Unesc
• Marlon Oliveira Unesc

DOI: https://doi.org/10.5753/eniac.2025.14002

Abstract

This research presents an AI-based prototype for automatic book recognition through cover images, integrating virtual annotation and digital cataloging features to support academic study. It addresses limitations of physical books, such as the inability to annotate pages and difficulties in organizing and retrieving references. The method uses computer vision and machine learning, extracting visual features via convolutional neural networks for accurate identification. An interactive system was also developed for creating virtual annotations on images, enhancing user interaction. The prototype showed promising results, with over 99% accuracy even under uncontrolled image conditions.

References

da Silva, J. D. S. (2004). Uso de redes neurais em visão computacional e processamento de imagens. Relatório de atividades, Instituto Nacional de Pesquisas Espaciais - INPE, São José dos Campos, SP. Relatório de estágio SPE/RHAE, Processo nº 260.048/95-0, realizado no Departamento de Engenharia Nuclear, Universidade do Tennessee, Knoxville, EUA.

de Oliveira, B. V. N. and de Melo, F. T. (2023). Fundamentos da Visão Computacional: Arcabouço Teórico do Reconhecimento Artificial de Imagens e Vídeos, volume 10. Acesso em: 20 out. 2024.

Dutra, I. T. L., de Oliveira, F. C., Fachin, E. A. G., da Silva, R. L., de Paula Filho, P. N., Domingues, K. M., and Guimarães, U. A. (2024). O Impacto das Tecnologias Digitais no Processo de Ensino-Aprendizagem, volume 28. Acesso em: 19 maio 2024.

Finsterwald, M. (2024). Book cover dataset. Acesso em: 18 mar. 2025.

Graciano, A. B. V. (2007). Rastreamento de objetos baseado em reconhecimento estrutural de padrões. São Paulo. Acesso em: 18 out. 2024.

Hu, J., Yan, Y., and Xie, Z. (2024). Automatic Recognition Technology of Library Books Based on Convolutional Neural Network Model, volume 5. HighTech and Innovation. Acesso em: 18 out. 2024.

Iwana, B. K., Rizvi, S. T. R., Ahmed, S., Dengel, A., and Uchida, S. (2016). Judging a book by its cover. arXiv preprint arXiv:1610.09204.

Lucieri, A., Sabir, H., Siddiqui, S. A., Rizvi, S. T. R., Iwana, B. K., Uchida, S., Dengel, A., and Ahmed, S. (2020). Benchmarking deep learning models for classification of book covers. SN computer science, 1(3):139.

Ludermir, T. B. (2021). Inteligência Artificial e Aprendizado de Máquina: estado atual e tendências, volume 35. Instituto de Estudos Avançados da Universidade de São Paulo.

Mesquita, I. C. A. and Conde, M. G. (2008). A evolução gráfica do livro e o surgimento dos e-books. São Luís, MA, Brasil. Trabalho apresentado no GT – Jornalismo e Editoração, do Iniciacom.

Monard, M. C. and Baranauskas, J. A. (2003). Conceitos Sobre Aprendizado de Máquina. Manole Ltda, Barueri-SP, 1 edition.

nVersos Editora (2022). A importância dos livros físicos. Acesso em: 19 maio 2024.

Silva, G. C. (2013). Tecnologia, educação e tecnocentrismo: as contribuições de Álvaro Vieira Pinto, volume 94. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira.

Tayebinik, M. and Puteh, M. (2013). Blended Learning or E-learning? Acesso em: 19 maio 2024.

Verne, T. S., da Silva, F. A., de Almeida, L. L., Pereira, D. R., and Artero, A. O. (2022). Detecção e Reconhecimento de Plantas de Pequeno Porte Utilizando Aprendizagem de Máquina, volume 14.

Yang, L. and Shen, X. (2024). Book Cover Recognition. Acesso em: 16 out. 2024.

Yufei, L., Saleh, S., Jiahui, H., and Abdullah, S. (2020). Review of the Application of Artificial Intelligence in Education. International Journal of Innovation Creativity and Change.