Um Mecanismo Construtivista para a Aprendizagem de Estrutura de MDPs Fatorados e Parcialmente Observáveis

• Filipo Studzinski Perotto UFRGS
• Jean-Christophe Buisson IRIT / INPT
• Luis Otavio Alvares UFRGS

Resumo

Este artigo apresenta o CALM (Constructivist Anticipatory Learning Mechanism), um mecanismo de aprendizagem para agentes baseado na abordagem construtivista da IA. Ele é desenvolvido para enfrentar de forma dinâmica e interativa ambientes que são ao mesmo tempo parcialmente determinísticos e parcialmente observáveis. O mecanismo é descrito em detalhe, explicando o método de aprendizagem empregado, e a estrutura de representação do mundo, baseada em MDPs fatorados. São analisados os tipos de regularidade que o CALM é capaz de descobrir, constituindo um caminho para a construção de conceitos abstratos e formas de representação de mais alto-nível.

Referências

Beer, R.D. (1995). A dynamical systems perspective on agent-environment interactions. Artificial Intelligence. Elsevier, v.72, p.173-215.

Boutilier, C.; Dearden, R.; Goldszmidt, M. (2000). Stochastic dynamic programming with factored representations. Artificial Intelligence. Elsevier, v.121, p.49-107.

Crook P.; Hayes G. (2003). Learning in a State of Confusion: Perceptual Aliasing in Grid World Navigation. In: Proc. Towards Intelligent Mobile Robots, Bristol: UWE.

Degris, T.; Sigaud,O.; Wuillemin, P-H. (2006). Learning the Structure of Factored Markov Decision Processes in Reinforcement Learning Problems. Proc. 23th ICML.

Drescher, G. (1991). Made-Up Minds: a constructivist approach to artificial intelligence. Cambridge: MIT Press.

Franklin, S. (1995). Artificial Minds. Cambridge: MIT Press.

Guestrin, C.; Koller, D.; Parr, R; Venkataraman, S. (2003). Efficient Solution Algorithms for Factored MDPs. Journal of Artificial Intelligence Research. Morgan Kaufmann, v.19, p.399-468.

Holmes, M. and Isbell, C. (2006). Looping Suffix Tree-Based Inference of Partially Observable Hidden State. Proc. 23th ICML.

Perotto, F.S., Alvares, L.O. (2006). Incremental Inductive Learning in a Constructivist Agent. Proc. of SGAI. London: Springer-Verlag, p.129-144.

Piaget, J. (1957). Construction of Reality in the Child. London: R. Kegan Paul.

Shani, G.; Poupart, P.; Brafman, R.; Shimony, S. (2008). Efficient ADD Operations for Point-Based Algorithms. Proc. ICAPS, p.330-337.

Suchman, L.A. (1987). Plans and Situated Actions. Cambridge University Press.

Thornton, C. (2003). Indirect sensing through abstractive learning. Intelligent Data Analysis, v.7, n.3, p.1-16.