Stochastic Controls: Hamiltonian Systems and HJB Equations
Stochastic Controls: Hamiltonian Systems and HJB Equations
复制标题
DOI：
--
复制
发表时间：
1999-06
期刊：
影响因子：
--
通讯作者：
J. Yong;X. Zhou
中科院分区：
文献类型：
--
作者：
J. Yong;X. Zhou
1.基础随机微积分-1.概率-1.1概率空间。-1.2。随机变量。-1.3。条件期望值。-1.4。概率收敛。-2。随机过程。-2.1。一般考虑。-2.2。布朗运动。-3。停止时间。-4。鞅。-5。伊藤积分。-5.1。布朗运动的不可微性。-5.2。定义伊藤的积分和基本性质。-5.3。伊藤公式。-5.4。-6。随机微分方程式。-6.1。强大的解决方案。-6.2。弱解。-6.3。线性SDE。-6.4。其他类型的随机微分方程。-2。随机最优控制问题。-1。引言。-2。确定性情况回顾。-3。随机控制问题的例子。-3.1。生产计划。-3.2。投资与消费。-3.3。再保险和股息管理。-3.4。技术扩散。-3.5。繁忙交通中的排队系统。-4。随机最优控制问题的表述。-4.1。强大的配方。-4.2。弱公式。-5。最优控制的存在性。-5.1。一个确定性的结果。-5.2。在强有力的表述下存在。-5.3。弱形式下的存在性。-6。随机控制系统的可达集合。-6.1。可达集的非凸性。-6.2。可达集合的非封闭性。-7。其他随机控制模型。-7.1。随机持续时间。-7.2。最佳停车。-7.3。单一控制和脉冲控制。-7.4。风险敏感控制。-7.5。遍历控制。-7.6。部分可观测系统。-8。历史评论。-3。极大值原理和随机哈密顿系统。-1。导论。-2。确定性情况重述。-3。随机极大值原理的陈述。-3.1。伴随方程。-3.2。最大值原理与随机哈密顿系统-3.3。一个算出的例子。-4。最大值原理的证明。-4.1。估计一下。-4.2。泰勒展开式，-4.3对偶性分析和证明的完成。-5。最优性的充分条件。-6。具有状态约束的问题。-6.1。问题的表述和最大值原理。一些初步的引理。-6.3。定理6.1的证明。-7。历史备注。-4。动态规划和HJB方程。-1。导论。-2。确定性情况的重述。-3。最优随机原理和HJB方程。-3.1。一个动态规划的随机框架。-3.2。最优原则。-3.3。HJB方程。-4。值函数的其他性质。-4.1。对参数的连续依赖。-4.2。半空腔。-5。粘度溶液。-5.1。定义。-5.2。一些性质。-6。粘性解的唯一性。-6.1。唯一性定理。-6.2。引理6.6和6.7的证明。-7。历史评论。-5。最大值原理和动态规划之间的关系。-1。导论。-2。经典的汉密尔顿-雅可比理论。-3。确定性系统的关系。-3.1。伴随变量和值函数：光滑大小写。-3.2。经济解读。-3.3。特性法和费曼-卡克公式。伴随变量和值函数：非光滑情况。-3.5。验证定理。-4。随机系统的关系。-4.1。光滑的箱子。-4.2。非光滑情况：空间变量中的微分。-4.3。非光滑情况：时间变量中的微分。-5。随机验证定理。-5.1。很顺利。-5.2。非光滑情况。-6。最优反馈控制。-7。历史备注。-6。线性二次型最优控制问题。-1。导论。-2。确定性LQ问题。-2.1。配方。-2.2。一个二次泛函的极小化问题。一个线性哈密顿系统。-2.4。黎卡提方程和反馈最优控制。-3。随机LQ问题的表述。-3.1。陈述问题。-3.2。例子。-4。有限性和可解性。-5。一个必要条件和一个哈密顿系统。-6。随机黎卡提方程。-7。随机黎卡提方程的整体可解性。-7.1。存在：标准情况。-7.2。存在性：情形C=0，S=0，Q，G？0。-7.3。存在：一维情形。-8。均值-方差投资组合问题。-9。历史备注。-7。倒向随机微分方程式。-1。导论。-2。线性倒向随机微分方程式。-3。非线性倒向随机微分方程。-3.1。有限确定性持续时间中的BSDE：压缩映象的方法。-3.2。随机持续时间的BSDE：连续法。-4。费曼-卡克型公式。-4.1。通过特别提款权代表。-4.2。通过BSDE表示。-5。正向-反向随机微分方程式。-5.1。一般公式和非解性。-5.2。四步方案，启发式推导。-5.3。几类可解的FBSDE。-6。期权定价问题。-6.1。欧式看涨期权和布莱克-斯科尔斯公式。-6.2。其他选项。-7.历史评论。-参考。
1. Basic Stochastic Calculus.- 1. Probability.- 1.1. Probability spaces.- 1.2. Random variables.- 1.3. Conditional expectation.- 1.4. Convergence of probabilities.- 2. Stochastic Processes.- 2.1. General considerations.- 2.2. Brownian motions.- 3. Stopping Times.- 4. Martingales.- 5. Ito's Integral.- 5.1. Nondifferentiability of Brownian motion.- 5.2. Definition of Ito's integral and basic properties.- 5.3. Ito's formula.- 5.4. Martingale representation theorems.- 6. Stochastic Differential Equations.- 6.1. Strong solutions.- 6.2. Weak solutions.- 6.3. Linear SDEs.- 6.4. Other types of SDEs.- 2. Stochastic Optimal Control Problems.- 1. Introduction.- 2. Deterministic Cases Revisited.- 3. Examples of Stochastic Control Problems.- 3.1. Production planning.- 3.2. Investment vs. consumption.- 3.3. Reinsurance and dividend management.- 3.4. Technology diffusion.- 3.5. Queueing systems in heavy traffic.- 4. Formulations of Stochastic Optimal Control Problems.- 4.1. Strong formulation.- 4.2. Weak formulation.- 5. Existence of Optimal Controls.- 5.1. A deterministic result.- 5.2. Existence under strong formulation.- 5.3. Existence under weak formulation.- 6. Reachable Sets of Stochastic Control Systems.- 6.1. Nonconvexity of the reachable sets.- 6.2. Noncloseness of the reachable sets.- 7. Other Stochastic Control Models.- 7.1. Random duration.- 7.2. Optimal stopping.- 7.3. Singular and impulse controls.- 7.4. Risk-sensitive controls.- 7.5. Ergodic controls.- 7.6. Partially observable systems.- 8. Historical Remarks.- 3. Maximum Principle and Stochastic Hamiltonian Systems.- 1. Introduction.- 2. The Deterministic Case Revisited.- 3. Statement of the Stochastic Maximum Principle.- 3.1. Adjoint equations.- 3.2. The maximum principle and stochastic Hamiltonian systems.- 3.3. A worked-out example.- 4. A Proof of the Maximum Principle.- 4.1. A moment estimate.- 4.2. Taylor expansions.- 4.3. Duality analysis and completion of the proof.- 5. Sufficient Conditions of Optimality.- 6. Problems with State Constraints.- 6.1. Formulation of the problem and the maximum principle.- 6.2. Some preliminary lemmas.- 6.3. A proof of Theorem 6.1.- 7. Historical Remarks.- 4. Dynamic Programming and HJB Equations.- 1. Introduction.- 2. The Deterministic Case Revisited.- 3. The Stochastic Principle of Optimality and the HJB Equation.- 3.1. A stochastic framework for dynamic programming.- 3.2. Principle of optimality.- 3.3. The HJB equation.- 4. Other Properties of the Value Function.- 4.1. Continuous dependence on parameters.- 4.2. Semiconcavity.- 5. Viscosity Solutions.- 5.1. Definitions.- 5.2. Some properties.- 6. Uniqueness of Viscosity Solutions.- 6.1. A uniqueness theorem.- 6.2. Proofs of Lemmas 6.6 and 6.7.- 7. Historical Remarks.- 5. The Relationship Between the Maximum Principle and Dynamic Programming.- 1. Introduction.- 2. Classical Hamilton-Jacobi Theory.- 3. Relationship for Deterministic Systems.- 3.1. Adjoint variable and value function: Smooth case.- 3.2. Economic interpretation.- 3.3. Methods of characteristics and the Feynman-Kac formula.- 3.4. Adjoint variable and value function: Nonsmooth case.- 3.5. Verification theorems.- 4. Relationship for Stochastic Systems.- 4.1. Smooth case.- 4.2. Nonsmooth case: Differentials in the spatial variable.- 4.3. Nonsmooth case: Differentials in the time variable.- 5. Stochastic Verification Theorems.- 5.1. Smooth case.- 5.2. Nonsmooth case.- 6. Optimal Feedback Controls.- 7. Historical Remarks.- 6. Linear Quadratic Optimal Control Problems.- 1. Introduction.- 2. The Deterministic LQ Problems Revisited.- 2.1. Formulation.- 2.2. A minimization problem of a quadratic functional.- 2.3. A linear Hamiltonian system.- 2.4. The Riccati equation and feedback optimal control.- 3. Formulation of Stochastic LQ Problems.- 3.1. Statement of the problems.- 3.2. Examples.- 4. Finiteness and Solvability.- 5. A Necessary Condition and a Hamiltonian System.- 6. Stochastic Riccati Equations.- 7. Global Solvability of Stochastic Riccati Equations.- 7.1. Existence: The standard case.- 7.2. Existence: The case C = 0, S = 0, and Q, G ?0.- 7.3. Existence: The one-dimensional case.- 8. A Mean-variance Portfolio Selection Problem.- 9. Historical Remarks.- 7. Backward Stochastic Differential Equations.- 1. Introduction.- 2. Linear Backward Stochastic Differential Equations.- 3. Nonlinear Backward Stochastic Differential Equations.- 3.1. BSDEs in finite deterministic durations: Method of contraction mapping.- 3.2. BSDEs in random durations: Method of continuation.- 4. Feynman-Kac-Type Formulae.- 4.1. Representation via SDEs.- 4.2. Representation via BSDEs.- 5. Forward-Backward Stochastic Differential Equations.- 5.1. General formulation and nonsolvability.- 5.2. The four-step scheme, a heuristic derivation.- 5.3. Several solvable classes of FBSDEs.- 6. Option Pricing Problems.- 6.1. European call options and the Black--Scholes formula.- 6.2. Other options.- 7. Historical Remarks.- References.