Um modelo de armazenamento de metadados tolerante a falhas para o DDGfs
Resumo
O Desktop Data Grid file system (DDGfs) é um sistema de arquivos distribuído desenvolvido para atender a requisitos de escalabilidade e manutenabilidade não oferecidos por sistemas de arquivos distribuídos amplamente utilizados na prática, como NFS e Coda. No DDGfs, dados e metadados são armazenados em componentes separados. Os dados são armazenados em servidores de dados, enquanto os metadados são mantidos em um único servidor de metadados. Essa arquitetura facilita o projeto do sistema, mas torna o servidor de metadados um ponto único de falha. Apesar de ser considerado um componente confiável, falhas são inevitáveis. Se esse componente falhar, os metadados podem ser perdidos e todos os dados armazenados se tornam inacessíveis. Este artigo apresenta um modelo de armazenamento de metadados que permite que o servidor de metadados seja restaurado após uma falha catastrófica que corrompa seu estado.Referências
D. Borthakur. The Hadoop Distributed File System: Architecture and Design. Document on Hadoop Wiki, 2008.
M. E. Crovella. Heavy-tailed probability distributions in the world wide web. 1998.
J. R. Douceur and W. J. Bolosky. A large-scale study of SIGMETRICS Perform. Eval. Rev., le-system contents. 27(1):59–70, 1999.
S. Ghemawat, H. Gobioff, and S.-T. Leung. The google le system. In SOSP ’03: Proceedings of the nineteenth ACM symposium on Operating systems principles, pages 29–43, New York, NY, USA, 2003. ACM Press.
J. Howard, M. Kazar, S. Menees, D. Nichols, M. Satyanarayanan, R. Sidebotham, and M. West. Scale and performance in a distributed le system. ACM Transactions on Computer Systems (TOCS), 6(1):51–81, 1988.
N. I. S. Organization. Understanding metadata. NISO Press, 2004.
B. Pawlowski, C. Juszczak, P. Staubach, C. Smith, D. Lebel, and D. Hitz. NFS version 3 design and implementation. In Proceedings of the Summer USENIX Conference, pages 137–152, 1994.
D. Roselli, J. R. Lorch, and T. E. Anderson. A comparison In In Proceedings of the 2000 of le system workloads. USENIX Annual Technical Conference, pages 41–54, 2000.
S. Santosh. Factoring le access patterns and user behavior into caching design for distributed le system. Master’s thesis, Wayne State University, USA, 2007.
M. Satyanarayanan, J. Kistler, P. Kumar, M. Okasaki, E. Siegel, and D. Steere. Coda: a highly available le system for a distributed workstation environment. IEEE Transactions on Computers, 39(4):447–459, 1990.
C. Tait and D. Duchamp. Detection and exploitation of le working sets. Proceedings of the 11th International Conference on Distributed Computing Systems (ICDCS91), May 1991.
M. E. Crovella. Heavy-tailed probability distributions in the world wide web. 1998.
J. R. Douceur and W. J. Bolosky. A large-scale study of SIGMETRICS Perform. Eval. Rev., le-system contents. 27(1):59–70, 1999.
S. Ghemawat, H. Gobioff, and S.-T. Leung. The google le system. In SOSP ’03: Proceedings of the nineteenth ACM symposium on Operating systems principles, pages 29–43, New York, NY, USA, 2003. ACM Press.
J. Howard, M. Kazar, S. Menees, D. Nichols, M. Satyanarayanan, R. Sidebotham, and M. West. Scale and performance in a distributed le system. ACM Transactions on Computer Systems (TOCS), 6(1):51–81, 1988.
N. I. S. Organization. Understanding metadata. NISO Press, 2004.
B. Pawlowski, C. Juszczak, P. Staubach, C. Smith, D. Lebel, and D. Hitz. NFS version 3 design and implementation. In Proceedings of the Summer USENIX Conference, pages 137–152, 1994.
D. Roselli, J. R. Lorch, and T. E. Anderson. A comparison In In Proceedings of the 2000 of le system workloads. USENIX Annual Technical Conference, pages 41–54, 2000.
S. Santosh. Factoring le access patterns and user behavior into caching design for distributed le system. Master’s thesis, Wayne State University, USA, 2007.
M. Satyanarayanan, J. Kistler, P. Kumar, M. Okasaki, E. Siegel, and D. Steere. Coda: a highly available le system for a distributed workstation environment. IEEE Transactions on Computers, 39(4):447–459, 1990.
C. Tait and D. Duchamp. Detection and exploitation of le working sets. Proceedings of the 11th International Conference on Distributed Computing Systems (ICDCS91), May 1991.
Publicado
28/10/2009
Como Citar
SOARES, Alexandro S.; PEREIRA, Thiago Emmanuel; SILVA, Jonhnny W.; BRASILEIRO, Francisco.
Um modelo de armazenamento de metadados tolerante a falhas para o DDGfs. In: SIMPÓSIO EM SISTEMAS COMPUTACIONAIS DE ALTO DESEMPENHO (SSCAD), 10. , 2009, São Paulo.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2009
.
p. 177-183.
DOI: https://doi.org/10.5753/wscad.2009.17407.
