Development of the adaptive agent for homeostasis and analysis of its cognitive development
体内平衡自适应剂的开发及其认知发展分析
基本信息
- 批准号:22KJ0907
- 负责人:
- 金额:$ 1.09万
- 依托单位:
- 依托单位国家:日本
- 项目类别:Grant-in-Aid for JSPS Fellows
- 财政年份:2023
- 资助国家:日本
- 起止时间:2023-03-08 至 2024-03-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
行動が連続値ベクトルとして定義される四脚ロボット+2資源問題のシミュレーション実験環境を構築した.さらにロボットが身体の内部状態として体温をもつ環境を構築し,異なる2つの実験環境を使った手法の比較を可能とした.当初の目的通り規模の小さい実験系として餌を検出するレーザーセンサをロボット上部に仮定し,深層強化学習の手法であるProximal Policy Optimizationにより行動最適化を行った.これにより恒常性報酬を用いることで上述の2つの環境中でエージェントが生存を持続する行動(歩行・停止・体温制御・ナビゲーション・採餌制御)を創発することを確認した.またこのなかで,内受容感覚を特定の値に固定しても歩行を始めとするエージェントの身体運動は大きな影響を受けないことを発見した.恒常性を実現するとされる他の既存の報酬設定と,本研究で用いた計算神経科学由来の恒常性報酬との比較を上述の2つの環境で行った.これにより恒常性報酬が学習効率の点で優れていることが明らかになった.さらにこの点をReward Shapingの観点から数理的に考察し,恒常性報酬はより根源的な報酬設定に対して価値関数を妥当な形で初期化した場合に対応することを明らかにした.最適化したエージェントの行動解析のため,2種類の餌をエージェント近傍に設置し,上述の発見を利用してエージェントの内受容感覚を様々な値に固定することで栄養状態に応じたエージェントの採餌行動の変化を評価した.以上の知見をもとにレーザーセンサの代わりに画像を入力とするエージェントを畳み込みニューラルネットワークで構成し,RGB画像ならびにRGB-D画像の場合での恒常性エージェントの最適化に成功した.その他,恒常性強化学習に対して特異的に有効な神経ネットワーク構造を発見し全結合構造との性能比較を行った.
Action to establish a sustainable environment for sustainable development The internal state of the body and the temperature of the body are different from each other. The goal is to achieve the goal of small scale in the system and to achieve the goal of deep reinforcement learning. This is a confirmation of the creation of actions (movement, stop, temperature control, request, acquisition control) to sustain survival in the above 2 environments. The internal sensation of the body is fixed at a certain value, and the movement of the body is affected by the movement. This study uses the computational neuroscience to compare the effects of the two environments mentioned above. This is a constant reward for learning efficiency. The point of Reward Shaping is a mathematical investigation of the root causes of constant compensation. The compensation setting is appropriate and the initial situation is clear. Optimization of the action analysis, 2 types of bait near the setting, the above development of the use of the inside of the content of the sensing value fixed, the maintenance of the state of the bait action evaluation. The above results show that the optimization of RGB images and RGB-D images is successful. In addition, constant reinforcement learning is used to compare the performance of specific structures.
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Reproducing the macroscopic property of foraging behaviour using deep homeostatic reinforcement learning
使用深度稳态强化学习再现觅食行为的宏观特性
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Naoto Yoshida;Yasuo Kuniyoshi
- 通讯作者:Yasuo Kuniyoshi
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
吉田 尚人其他文献
吉田 尚人的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
相似海外基金
Collaborative Research: CDS&E: Generalizable RANS Turbulence Models through Scientific Multi-Agent Reinforcement Learning
合作研究:CDS
- 批准号:
2347423 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Standard Grant
深層強化学習を用いた運動ノイズの影響を最小化する運動制御推定フレームワークの構築
使用深度强化学习构建运动控制估计框架,最大限度地减少运动噪声的影响
- 批准号:
24KJ2223 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for JSPS Fellows
CAREER: Stochasticity and Resilience in Reinforcement Learning: From Single to Multiple Agents
职业:强化学习中的随机性和弹性:从单个智能体到多个智能体
- 批准号:
2339794 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Continuing Grant
Learning to Reason in Reinforcement Learning
在强化学习中学习推理
- 批准号:
DP240103278 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Discovery Projects
強化学習モデル・ネットワーク分析によるサイコパシーの情報処理メカニズムの解明
利用强化学习模型和网络分析阐明精神病态的信息处理机制
- 批准号:
24K16865 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
リスクの不確実性に対処する自律分散型マルチエージェント強化学習の研究開発
应对风险不确定性的自主分布式多智能体强化学习研发
- 批准号:
24K20873 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
計測・通信品質が保証されない環境下の多目的フィードフォワード最適制御と強化学習
测量和通信质量无法保证环境下的多目标前馈最优控制和强化学习
- 批准号:
23K20948 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
遅延を考慮した非同期分散型マルチモジュール・タイムスケール深層強化学習の開発
考虑延迟的异步分布式多模块时间尺度深度强化学习的开发
- 批准号:
23K21710 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
汎用かつ再利用可能な方策に基づく階層強化学習
基于通用和可重用策略的分层强化学习
- 批准号:
23K28140 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
強化学習を用いた分散制御によるネットワーク信号制御の最適化に関する研究
基于强化学习的分布式控制网络信号控制优化研究
- 批准号:
23K26216 - 财政年份:2024
- 资助金额:
$ 1.09万 - 项目类别:
Grant-in-Aid for Scientific Research (B)