Processos de Decisão Markovianos Sensíveis a Risco: Uma abordagem de otimização mean-CVaR

• Denis Pais Universidade de São Paulo
• Karina Delgado Universidade de São Paulo

Resumo

Processos de decisão Markovianos (PDM) são amplamente usados para resolver problemas de tomada de decisão sequencial. A função objetivo mais utilizada nesse tipo de problemas é minimizar o custo total esperado. Porém, esta abordagem não leva em consideração a variabilidade do custo (ou seja, flutuações em torno da média), o que pode afetar significativamente o seu desempenho geral. MDPs que lidam com esse tipo de problemas são chamados de MDPs sensíveis a risco. Um tipo de MDP sensível a risco é o CVaR MDP, que inclui a métrica CvaR comumente usada para medir risco financeiro. Neste trabalho propomos um algoritmo aproximado de iteração de valor para resolver um mean-CVAR MDP, um MDP sensível a risco que utiliza a média do custo total em conjunto com o critério CvaR.

Palavras-chave: Processo de de Decisão Markoviano, Processo de Decisão Markoviano Sensível ao Risco, CvaR