Implementation of a Beowulf Cluster in a grid computing environment for teaching parallel programming
Resumo
This research aimed to implement a Beowulf cluster in a Grid computing environment on the Internet, using Apache Hadoop as a parallelism library and the Docker platform, seeking to spark interest in the scientific community regarding the use of parallel programming architectures and languages. The methodology employed a quantitative, descriptive, and exploratory approach, focused on the practical deepening of the research topic. The results identified that, despite Apache Hadoop being a robust and fault-tolerant library, it still presents gaps that need to be explored and improved, such as the issue of efficient task distribution among the system's nodes. The cluster was fundamental to the students' learning.
Referências
Datti, A. A., Umar, H. A., & Galadanci, J. (2015). A Beowulf cluster for teaching and learning. Procedia Computer Science, 70, 62-68. DOI: 10.1016/j.procs.2015.10.034
Dockerdocs. Visão geral de redes. (2025). [link].
Goldman, A., Kon, F., Junior, F. P., Polato, I., & de Fátima Pereira, R. (2012). Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades. XXXI Jornadas de atualizações em informática, 88-136.
Maia, R. M. S. (2016). Ferramenta para criação de clusters virtuais para o ensino de programação paralela e distribuída. [link]
Menezes, S. L., Freitas, R. S., & Parpinelli, R. S. (2016). Mineração em grandes massas de dados utilizando hadoop mapreduce e algoritmos bio-inspirados: Uma revisão sistemática. Revista de Informática Teórica e Aplicada, 23(1), 69-101.
Merkel, D. (2014). Docker: lightweight linux containers for consistent development and deployment. Linux j, 239(2), 2.
Navaux, P., D. R., C., & Pilla, L. L. (2011). Fundamentos das arquiteturas para processamento paralelo e distribuído. XI Escola Regional de Alto Desempenho do Estado do Rio Grande do Sul-2011-Porto Alegre, RS, 22-59.
Neto, A.J.A, Neto, J.A.C, & Moreno, E.D. (2022). O desenvolvimento de um cluster de big data de baixo custo usando Apache Hadoop e Raspberry Pi. Um guia completo. Computers and Electrical Engineering, 104, 108403.
O’malley, O. (2008). Terabyte sort on apache hadoop. Yahoo, available online at: [link], (May), 1-3.
Pereira, V. (2016). Instalação e configuração de um Cluster Beowulf. Escola Superior de Tecnologia e Gestão. Instituto Politécnico da Guarda. Portugal. [link]
Rauber, T., & Rünger, G. (2013). Parallel programming: For multicore and cluster systems. [sl]: Springer science & business media.
Yi, X. (2024). A study of performance programming of cpu, gpu accelerated computers and simd architecture. arXiv preprint arXiv:2409.10661. DOI: 10.48550/arXiv.2409.10661
White, T. (2015). Hadoop: The definitive guide. 4. Ed. " O'Reilly Media, Inc.". ISBN: 978-1-449-35853-1. 2015.
