该项目研究的目的是探索混合系统分层控制的最优控制机制。研究的基础是马尔可夫决策过程的性能势、策略迭代、算子理论、随机微分方程以及最优控制理论的结合。我们从分层控制的角度研究如下模型，考虑一个两层的系统，上层是事件驱动系统，可以建模为马氏链，上层决定下层的运行模式。每个模式下，下层时间驱动系统的动态方程可以用随机差分方程或随机微分方程来描述。这类问题不仅具有重要的理论意义，同时也有相当的实际应用价值。针对这类问题，我们从马尔可夫决策过程的角度提出解决控制问题的一个新方法。基于策略迭代方法，我们可以发展出针对这类控制问题的在线学习和优化算法。