RI: Small: Learning Strategic Behavior in Sequential Decision Tasks

RI:小:学习顺序决策任务中的策略行为

基本信息

  • 批准号:
    0915038
  • 负责人:
  • 金额:
    $ 45.5万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2009
  • 资助国家:
    美国
  • 起止时间:
    2009-09-01 至 2014-08-31
  • 项目状态:
    已结题

项目摘要

Many routine, real-world tasks can be seen as sequential decision tasks. For instance, navigating a robot through a complex environment, driving a car in congested traffic, and routing packets in a computer network requires making a sequence of decisions that together minimize time and resources used. It would be desirable to automate these tasks, yet it is difficult because the optimal decisions are generally not known. Many existing learning methods lead to reactive behaviors that perform well in short term, but do not amount to intelligent high-level behavior in the long term. This project is developing methods for learning strategic high-level behavior. Strategic methods need to (1) retain information from past states, (2) learn multimodal behavior, (3) choose between the different behaviors based on crucial detail, and (4) implement a sequential high-level strategy based on those behaviors. The neuroevolution methods developed in prior work solve the first problem by evolving (through genetic algorithms) recurrent neural networks to represent the behavior. To solve the remaining problems, these methods are being extended in the proposed work with multi-objective optimization, local nodes with cascaded structure, and with evolution of modules and their combinations. Preliminary results indicate that this approach is indeed feasible. In the long term, developed technology will make it possible to build robust sequential decision systems for real-world tasks. It leads to safer and more efficient vehicle, traffic, and robot control, improved process and manufacturing optimization, and more efficient computer and communication systems. It will also make the next generation of video games possible, with characters that exhibit realistic, strategic behaviors: Such technology should lead to more effective educational and training games in the future. The OpenNERO open source software platform developed in this work will be made available to the research community.
许多日常的、现实世界的任务可以被视为连续的决策任务。例如,在复杂的环境中导航机器人,在拥堵的交通中驾驶汽车,在计算机网络中路由数据包,都需要做出一系列决策,这些决策共同将时间和资源消耗降至最低。自动化这些任务是可取的,但这是困难的,因为最优决策通常是未知的。许多现有的学习方法会导致反应性行为,这些行为在短期内表现良好,但从长远来看,并不等同于智能的高级行为。这个项目正在开发学习战略高级行为的方法。策略方法需要(1)保留过去状态的信息,(2)学习多模式行为,(3)基于关键细节在不同的行为之间进行选择,以及(4)基于这些行为实施顺序的高级策略。在以前的工作中开发的神经进化方法通过进化(通过遗传算法)递归神经网络来表示行为来解决第一个问题。为了解决剩下的问题,这些方法在所提出的工作中进行了扩展,包括多目标优化、具有级联结构的局部节点以及模块及其组合的进化。初步结果表明,该方法确实是可行的。从长远来看,先进的技术将使为现实世界的任务建立强大的顺序决策系统成为可能。它带来了更安全、更高效的车辆、交通和机器人控制,改进了工艺和制造优化,以及更高效的计算机和通信系统。它还将使下一代视频游戏成为可能,游戏中的角色将表现出逼真的战略行为:这种技术应该会在未来带来更有效的教育和培训游戏。在这项工作中开发的OpenNERO开源软件平台将向研究界提供。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Risto Miikkulainen其他文献

Holdout Evaluation
坚持评估
  • DOI:
    10.1007/978-0-387-30164-8_369
  • 发表时间:
    2010
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Antal van den Bosch;B. Hengst;J. Lloyd;Risto Miikkulainen;Hendrik Blockeel
  • 通讯作者:
    Hendrik Blockeel
MARLEDA: Effective distribution estimation through Markov random fields
  • DOI:
    10.1016/j.tcs.2015.07.049
  • 发表时间:
    2016-06-20
  • 期刊:
  • 影响因子:
  • 作者:
    Matthew Alden;Risto Miikkulainen
  • 通讯作者:
    Risto Miikkulainen
Evolutionary Supervised Machine Learning
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Risto Miikkulainen
  • 通讯作者:
    Risto Miikkulainen
Extracting the dynamics of the Hodgkin-Huxley model using recurrent neural networks
  • DOI:
    10.1186/1471-2202-8-s2-p100
  • 发表时间:
    2007-07-06
  • 期刊:
  • 影响因子:
    2.300
  • 作者:
    Sari Andoni;Manish Saggar;Tekin Meriçli;Risto Miikkulainen
  • 通讯作者:
    Risto Miikkulainen
Modeling self-organizing tri-chromatic color selective regions in primary visual cortex
  • DOI:
    10.1186/1471-2202-8-s2-s24
  • 发表时间:
    2007-07-06
  • 期刊:
  • 影响因子:
    2.300
  • 作者:
    Judah De Paula;Jim Bednar;Risto Miikkulainen
  • 通讯作者:
    Risto Miikkulainen

Risto Miikkulainen的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Risto Miikkulainen', 18)}}的其他基金

Collaborative Research: MOD and TLS: A Predictive Simulation Model of Competitive Dynamics in Innovation
合作研究:MOD 和 TLS:创新竞争动态的预测模拟模型
  • 批准号:
    0914796
  • 财政年份:
    2009
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Pilot: Leveraging Human Creativity with Machine Discovery
试点:通过机器发现利用人类创造力
  • 批准号:
    0757479
  • 财政年份:
    2008
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
RI: Mastodon: A Large-Memory, High-Throughput Simulation Infrastructure
RI:Mastodon:大内存、高吞吐量的模拟基础设施
  • 批准号:
    0303609
  • 财政年份:
    2003
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Continuing Grant
Cooperative Coevolution of Neural Networks in Sequential Decision Tasks
顺序决策任务中神经网络的协同协同进化
  • 批准号:
    0083776
  • 财政年份:
    2000
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Continuing Grant
Modeling Development and Perceptual Phenomena in the Visual Cortex
视觉皮层的建模发展和感知现象
  • 批准号:
    9811478
  • 财政年份:
    1998
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Symbiotic Evolution of Neural Networks in Sequential Decision Tasks
神经网络在顺序决策任务中的共生进化
  • 批准号:
    9504317
  • 财政年份:
    1995
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Continuing Grant
RIA: A Self-Organizing Neural Network Model of The PrimaryVisual cortex
RIA:初级视觉皮层的自组织神经网络模型
  • 批准号:
    9309273
  • 财政年份:
    1993
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
  • 批准号:
    2313131
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Deep Constrained Learning for Power Systems
合作研究:RI:小型:电力系统的深度约束学习
  • 批准号:
    2345528
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2232055
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
CISE-ANR: RI: Small: Numerically efficient reinforcement learning for constrained systems with super-linear convergence (NERL)
CISE-ANR:RI:小:具有超线性收敛 (NERL) 的约束系统的数值高效强化学习
  • 批准号:
    2315396
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2232054
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
RI: Small: Approximate Inference for Planning and Reinforcement Learning
RI:小:规划和强化学习的近似推理
  • 批准号:
    2246261
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2334936
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
  • 批准号:
    2313130
  • 财政年份:
    2023
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: AF: Small: Long-Term Impact of Fair Machine Learning under Strategic Individual Behavior
合作研究:RI:AF:小:战略性个人行为下公平机器学习的长期影响
  • 批准号:
    2202699
  • 财政年份:
    2022
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Advancing Theory and Practice of Trustworthy Machine Learning via Bi-Level Optimization
合作研究:RI:小型:通过双层优化推进可信机器学习的理论和实践
  • 批准号:
    2207052
  • 财政年份:
    2022
  • 资助金额:
    $ 45.5万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了