受限制策略下多臂Bandit过程的理论与应用研究
结题报告
批准号:
71371074
项目类别:
面上项目
资助金额:
57.0 万元
负责人:
吴贤毅
依托单位:
学科分类:
G0102.运筹与管理
结题年份:
2017
批准年份:
2013
项目状态:
已结题
项目参与者:
许忠好、姚强、包文清、杨磊、黄金龙、周学勤、宋昕、高阎龙、马宇飞
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
多臂Bandit过程模型(Multi-armed Bandit Processes,简称为MAB)起源于1950年代,属于动态随机最优化的范畴,是一种特殊类型的动态随机控制模型,用于处理如何最优地进行稀缺资源的分配。从数学上来说,MAB由一组平行的可控随机过程组成,每个随机过程有两个选项:演进和停止,一旦向前演进,该过程的信息会随时更新,同时给出一个报酬流;一旦被停止,则其信息流和报酬都不会发生更新。MAB模型的目标是确定各个随机过程演进和停止的规则(时间分配规则),满足条件:在时间t,各个随机过程进程时间之和不大于总时间t,并且使得期望折扣总报酬达到最大。本项目旨在MAB模型中引入受限策略的概念,以便刻画现实中对策略的技术限制(比如在某个随机过程达到一定的状态时,不允许被停止),相应发展一套受限策略下MAB最优策略的新理论、新方法,并探索其在相关领域比如随机调度领域的应用。
英文摘要
Multi-armed bandit processes (abbreviated as MAB), which are dated back to 1950s, belong to the framework of dynamic stochastic optimizaitons. They are a type of particular dynamic stochastic control models that are concerned with the problems of optimally allocating scareced resources to certain competitive projects. In mathematical language, an MAB constitutes of a set of parallel controllable stochastic processes, each of which has two options: evolution and freezen. Whenever a process evolves, it gives out a flow of rewards. MAB models aim at finding out the rules of evolution and freezen on each controllabel member stochastic processes (time allocation schemes) such that at any calander time t the sum of the time allocated to each projects is not more than t itself, so as to maximize the expected total rewards. The objective of this pproposal is to introduce the concept of restricted policies into the MAB community so as to characterize the restrictions on policies in the real life practice, e.g., freezing is prohibted if the process enters certain particular states, and accordingly develop the optimality theory of MAB under restricted policies, as well as explore the applications of that new theory in related areas including particularly the area of stochastic scheduling.
经典 bandit process 研究主要分为三类:连续时间、离散时间以及半马氏类 过程(或者跳过程)上的 bandit process 最优决策问题,该框架对加工机器在各 个臂(arms)之间的切换不加任何约束。但是在实际问题中,往往会碰到加工机器 不能在各个臂之间自由切换的情形。..本项目研究带约束 bandit process 的最优调度的理论及相关问题, 重要的结果包括三个部分:一是作为研究基础的带约束最优停时问题, 其中,可行的停时集合并不包括所有的停时,而是带有一定约束的停时;二是以带约束的最优停时理论作为基本工具, 获得了带约束 bandit process 的Gittins index的定义,并证明了基于Gittins index的策略在期望折扣报酬调度下的最有性; 三是带约束bandit process调度理论应用于机器加工调度问题以及医疗调度的问题,得到了相应问题的最优解。..本研究本研究提出的模型涵盖了几乎所有的经典bandit process的模型,其结果从理论上拓广了经典bandit process最优策略的研究和应用场景。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Estimation of Poisson-Dirichlet Parameters with Monotone Missing Data
单调缺失数据的泊松-狄利克雷参数估计
DOI:10.1155/2017/7892507
发表时间:2017
期刊:MATHEMATICAL PROBLEMS IN ENGINEERING
影响因子:--
作者:Zhou Xueqin;Huang Jinlong;Wu Xianyi
通讯作者:Wu Xianyi
The Robustness for Premium Calculations Using Bayesian Approaches
使用贝叶斯方法进行溢价计算的稳健性
DOI:--
发表时间:2015
期刊:Journal of Jiangxi Normal University (Natural Science Edition)
影响因子:--
作者:吴贤毅
通讯作者:吴贤毅
DOI:--
发表时间:2015
期刊:North American Actuarial Journal
影响因子:1.4
作者:Cai X.;Wen L.;吴贤毅;Zhou X.
通讯作者:Zhou X.
Credibility models with dependence structure over risks and time horizon
具有风险和时间范围依赖性结构的可信度模型
DOI:10.3934/jimo.2015.11.365
发表时间:2015
期刊:Journal of Industrial and Management Optimization
影响因子:1.3
作者:Huang Weizhong;Wu Xianyi
通讯作者:Wu Xianyi
Stochastic Loss Reserving in Discrete Time: Individual vs. Aggregate Data Models
离散时间的随机损失保留:个体数据模型与聚合数据模型
DOI:10.1080/03610926.2014.976473
发表时间:2015
期刊:Communications in Statistics-Theory and Methods
影响因子:0.8
作者:Huang Jinlong;Qiu Chunjuan;Wu Xianyi
通讯作者:Wu Xianyi
可信离线强化学习的置信下限方法:算法与理论
  • 批准号:
    72371103
  • 项目类别:
    面上项目
  • 资助金额:
    41万元
  • 批准年份:
    2023
  • 负责人:
    吴贤毅
  • 依托单位:
多臂Bandit process中的Bayes非参数方法
  • 批准号:
    71771089
  • 项目类别:
    面上项目
  • 资助金额:
    48.0万元
  • 批准年份:
    2017
  • 负责人:
    吴贤毅
  • 依托单位:
非标准随机调度模型的最优动态策略
  • 批准号:
    71071056
  • 项目类别:
    面上项目
  • 资助金额:
    28.0万元
  • 批准年份:
    2010
  • 负责人:
    吴贤毅
  • 依托单位:
机器具有中断条件下的随机调度问题
  • 批准号:
    70671043
  • 项目类别:
    面上项目
  • 资助金额:
    19.0万元
  • 批准年份:
    2006
  • 负责人:
    吴贤毅
  • 依托单位:
国内基金
海外基金