Simulação de Redes Neuronais em Máquinas SIMD
Resumo
Uma característica importante das redes neuronais é a flexibilidade que elas oferecem para a solução de problemas complexos quando comparadas às técnicas convencionais. Outra característica apresentada por estes modelos é a alta complexidade requerida para a sua simulação em arquiteturas tradicionais. O aumento da complexidade e das dimensões das redes neuronais a serem simuladas faz com que seja necessária a busca de implementações eficientes viabilizando a sua utilização. Este trabalho apresenta uma proposta de implementação de redes neuronais em máquinas SIMD, que se baseia no grafo de dependência de dados da própria rede neuronal. Foi implementado um algoritmo de simulação de redes de grande porte em uma máquina SIMD com 4096 processadores de 1 bit. A implementação paralela mostrou ser mais adequada para redes de maior tamanho quando confrontada com a versão seqüencial.
Referências
S. G. Akl. The Design and Analysis of Parallel Algorithms. Prentice-Hall, 1989.
V. C. Barbosa and P. M. V. Lima. On the distribuited parallel simulation of hopfield's neural networks. Software - Pratice and Experience, 20(10):967 - 983, October 1990.
G. Belloch and C. Rosenberg. Network learning on the connection machine. In Proc. 10th Int. Joint Conf. Artif. Intell., Milan, Italy, 1987.
L. C. Chu and B. W. Wah. Optimal mapping of neural-network learning on message-passing multicomputers. Journal of Parallel and Distibuited Computing, (14):319 - 339, 1992.
D. S. Touretzky D. A. Pomerlau, G. L. Gusciora and H. T. Kung. Neural network simulation at warp speed: How we got 17 million connections per second. In Proc. Int. Conf. Neural Networks, San Diego, CA, June 1988.
G. E. Hinton D. E. Rumelhart and R. J. Williams. Parallel Distributed Processing: Explorations in the Microstructure of Cognition, volume 1. MIT Press, Cambridge, MA, 1986.
Márcio L. B. de Carvalho and Wagner Meira Jr. Um modelo de redes neurais para controle de sistemas robóticos. In Anais do III Simpósio Brasileiro de Arquitetura de Computadores e Processamento Paralelo, pages 22-37, Rio de Janeiro, Novembro 1990. Sociedade Brasileira de Computação.
B. W. Kernighan e D. M. Ritchie. C, a linguagem de programação: padrão ANSI. Editora Campus, Rio de Janeiro, 1990.
J. P. Hayes. Computer Architecture and Organization. McGraw-Hill, 2nd ed. edition, 1988.
Wavetracer Inc. The MultiC Programming Language. 289 Great Road, Acton, Massachusetts, USA, September 1991.
R. G. Palmer J. Hertz, A. Krogh. Introduction to the Theory of Neural Computation, volume 1 of Computation and neural systems series. Allan M. Wylde, 1991.
W. Meira Jr. M. L. B. de Carvalho J. P. Salles, M. A. G. Vieira. Zephyr wavetracer: uma análise de suas operações elementares. Technical Report RT008/92, DCC - ICEx - UFMG, 1992.
M. James and D. Hoang. Design of low-cost, real-time simulation systems for large neural networks. Journal of Parallel and Distributed Computing, (14):221 - 235, 1992.
W. Baggett W. S. Boyd Jr. M. H. Garzon, S. P. Franklin and D. Dickerson. Design and testing of a general-purpouse neurocomputer. Journal of Paralel and Distributed Computing, (14):203 - 220, 1992.
T. Nordstrém and B. Svensson. Using and designing massively parallel computers for artificial neural networks. Journal of Parallel and Distributed Computing, (14):260 - 285, 1992.
L. M. Reyneri. An analysis on the performance of silicon implementations of backpropagation algorithms for artificial neural networks. IEEE Transactions on Computers, 40(12):1380 - 1389, December 1991.
U. Schweigelsohn. A shortperiodic two-dimensional systolic sorting algorithm. In Proc. Int. Conf. Systolic Arrays, pages 257 - 264, 1988.
S. Shams. In Proc. IEEE int. Symp. Circurts Syst., New Orleans, LA, May.
H.S. Stone. High-Performance Computer Architecture. Addison-Wesley Publishing Co., 2nd ed. edition, 1990.
V. K. Prasanna W. M. Lin and K. W. Praytula. Algorithmic mapping of neural network models onto parallel simd machines. IEEE Transactions on Computers, 40(12):1390 - 1401, December 1991.
M. L. B. Carvalho W. Meira Jr. Sirnem: A parallel neural network simulation system. In XVIII Conferencia Latinoamericana de Informatica. CLEI, Agosto 1992.
V. C. Barbosa and P. M. V. Lima. On the distribuited parallel simulation of hopfield's neural networks. Software - Pratice and Experience, 20(10):967 - 983, October 1990.
G. Belloch and C. Rosenberg. Network learning on the connection machine. In Proc. 10th Int. Joint Conf. Artif. Intell., Milan, Italy, 1987.
L. C. Chu and B. W. Wah. Optimal mapping of neural-network learning on message-passing multicomputers. Journal of Parallel and Distibuited Computing, (14):319 - 339, 1992.
D. S. Touretzky D. A. Pomerlau, G. L. Gusciora and H. T. Kung. Neural network simulation at warp speed: How we got 17 million connections per second. In Proc. Int. Conf. Neural Networks, San Diego, CA, June 1988.
G. E. Hinton D. E. Rumelhart and R. J. Williams. Parallel Distributed Processing: Explorations in the Microstructure of Cognition, volume 1. MIT Press, Cambridge, MA, 1986.
Márcio L. B. de Carvalho and Wagner Meira Jr. Um modelo de redes neurais para controle de sistemas robóticos. In Anais do III Simpósio Brasileiro de Arquitetura de Computadores e Processamento Paralelo, pages 22-37, Rio de Janeiro, Novembro 1990. Sociedade Brasileira de Computação.
B. W. Kernighan e D. M. Ritchie. C, a linguagem de programação: padrão ANSI. Editora Campus, Rio de Janeiro, 1990.
J. P. Hayes. Computer Architecture and Organization. McGraw-Hill, 2nd ed. edition, 1988.
Wavetracer Inc. The MultiC Programming Language. 289 Great Road, Acton, Massachusetts, USA, September 1991.
R. G. Palmer J. Hertz, A. Krogh. Introduction to the Theory of Neural Computation, volume 1 of Computation and neural systems series. Allan M. Wylde, 1991.
W. Meira Jr. M. L. B. de Carvalho J. P. Salles, M. A. G. Vieira. Zephyr wavetracer: uma análise de suas operações elementares. Technical Report RT008/92, DCC - ICEx - UFMG, 1992.
M. James and D. Hoang. Design of low-cost, real-time simulation systems for large neural networks. Journal of Parallel and Distributed Computing, (14):221 - 235, 1992.
W. Baggett W. S. Boyd Jr. M. H. Garzon, S. P. Franklin and D. Dickerson. Design and testing of a general-purpouse neurocomputer. Journal of Paralel and Distributed Computing, (14):203 - 220, 1992.
T. Nordstrém and B. Svensson. Using and designing massively parallel computers for artificial neural networks. Journal of Parallel and Distributed Computing, (14):260 - 285, 1992.
L. M. Reyneri. An analysis on the performance of silicon implementations of backpropagation algorithms for artificial neural networks. IEEE Transactions on Computers, 40(12):1380 - 1389, December 1991.
U. Schweigelsohn. A shortperiodic two-dimensional systolic sorting algorithm. In Proc. Int. Conf. Systolic Arrays, pages 257 - 264, 1988.
S. Shams. In Proc. IEEE int. Symp. Circurts Syst., New Orleans, LA, May.
H.S. Stone. High-Performance Computer Architecture. Addison-Wesley Publishing Co., 2nd ed. edition, 1990.
V. K. Prasanna W. M. Lin and K. W. Praytula. Algorithmic mapping of neural network models onto parallel simd machines. IEEE Transactions on Computers, 40(12):1390 - 1401, December 1991.
M. L. B. Carvalho W. Meira Jr. Sirnem: A parallel neural network simulation system. In XVIII Conferencia Latinoamericana de Informatica. CLEI, Agosto 1992.
Publicado
26/10/1992
Como Citar
SALLES, Juliana Pereira; VIEIRA, Maria Augusta Guimarães; MEIRA JUNIOR, Wagner; CARVALHO, Marcio Luiz Bunte de.
Simulação de Redes Neuronais em Máquinas SIMD. In: INTERNATIONAL SYMPOSIUM ON COMPUTER ARCHITECTURE AND HIGH PERFORMANCE COMPUTING (SBAC-PAD), 4. , 1992, São Paulo/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
1992
.
p. 347-361.
DOI: https://doi.org/10.5753/sbac-pad.1992.22721.
