Análise do Desempenho de Aplicações Paralelas geradas por Ferramentas de Inteligência Artificial

  • João Vitor M. Dias UFRGS
  • Antonio Carlos S. Beck UFRGS
  • Arthur F. Lorenzon UFRGS

Resumo

Este trabalho compara dois modelos de IA, um da Google e outro da OpenAI, na paralelização de aplicações em C++ usando OpenMP. Através da análise da corretude do código gerado e tempo de execução em uma arquitetura de 40 núcleos de processamento, mostramos que o modelo da OpenAI teve um desempenho superior, paralelizando mais aplicações que o modelo da Google.

Referências

Barham, P., Chowdhery, A., Dean, J., Ghemawat, S., Hand, S., Hurt, D., Isard, M., Lim, H., Pang, R., Roy, S., et al. (2022). Pathways: Asynchronous distributed dataflow for ml. Proceedings of Machine Learning and Systems, 4:430–449.

Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., et al. (2023). Palm: Scaling language modeling with pathways. Journal of Machine Learning Research, 24(240):1–113.

Godoy, W., Valero-Lara, P., Teranishi, K., Balaprakash, P., and Vetter, J. (2023). Evaluation of openai codex for hpc parallel programming models kernel generation. In Proceedings of the 52nd International Conference on Parallel Processing Workshops, ICPP-W 2023. ACM.

Lorenzon, A. F. and Beck Filho, A. C. S. (2019). Parallel computing hits the power wall: principles, challenges, and a survey of solutions. Springer Nature.

Navaux, P. O. A., Lorenzon, A. F., and da Silva Serpa, M. (2023). Challenges in high-performance computing. Journal of the Brazilian Computer Society, 29(1):51–62.

Radford, A., Narasimhan, K., Salimans, T., Sutskever, I., et al. (2018). Improving language understanding by generative pre-training.

Valero-Lara, P., Huante, A., Lail, M. A., Godoy, W. F., Teranishi, K., Balaprakash, P., and Vetter, J. S. (2023). Comparing llama-2 and gpt-3 llms for hpc kernels generation.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2023). Attention is all you need.

Wang, B. and Komatsuzaki, A. Gpt-j-6b: A 6 billion parameter autoregressive language model. [link]. Accessado: 2024-02-16.
Publicado
2024-04-24
Como Citar
DIAS, João Vitor M.; BECK, Antonio Carlos S.; LORENZON, Arthur F.. Análise do Desempenho de Aplicações Paralelas geradas por Ferramentas de Inteligência Artificial. Anais da Escola Regional de Alto Desempenho da Região Sul (ERAD-RS), [S.l.], p. 21-24, abr. 2024. ISSN 2595-4164. Disponível em: <https://sol.sbc.org.br/index.php/eradrs/article/view/27993>. Acesso em: 18 maio 2024. doi: https://doi.org/10.5753/eradrs.2024.238728.
Seção
Fórum de Iniciação Científica