Development of inverse reinforcement learning focusing on the multiobjective nature of humans and autonomous systems: towards zero risk and comfort maximization.

逆向强化学习的发展侧重于人类和自主系统的多目标性质：实现零风险和舒适度最大化。

• 批准号: 22H03665
• 负责人: 荒井 幸代
• 金额: $ 8.32万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03665/
• 关键词: 自律システム; マルチエージェント学習; ロバスト制御; 認知モデル; 意図推定; 自律制御と強化学習; 強化学習の実用化; 報酬のスパース性; 暗黙知の形式化; 人と人工物の調和; 価値推定; システムの頑健性; システムへの信頼性

本課題は，近い将来，人間の行動範囲に共存する自律機械のうち，ドローン，自動車，鉄道の自律制御るに対す機械学習の導入への信頼（安全性と安心）を担保することを目的としている．今年度は，上記目的に沿った適用可能な機械学習のアルゴリズムの検討と改善，および，学習によって獲得した制御則に基づいた運行（飛行，走行を総じて運行と呼ぶ）軌跡から，制御則の目的関数を推定する方法を検討し，簡易なベンチマークを用いて，方法の妥当性を検証した．ドローンは，既に実用が進む海外の状況から，複数台の飛行状況における協調と競合を想定して，衝突回避しながら，効率よく目的タスクの遂行を実施する深層強化学習アルゴリズムを提案し，計算機シミュレーション実験において良好な結果を得た．鉄道の運行については，定時運行の大前提の下で，鉄道運行における喫緊の課題である省エネルギー運転制御を実現する方法を，二段階最適化問題として定式化した方法のプロトタイプを作成し，従来の方法よりも有意に優れた性能を示すことを確認した．以上は，機械学習によって得られた制御方法によって，タスクの最適性の向上可能性を示唆する成果であるが，併せて，これらの動きに対する，人（設計者や，共存する人々）の反応を検証することも本課題の重要なエッセンスである．これについては，まず，設計者の理解を促す方法として，学習後の制御入力と出力の対応関係を統計的に分析し，入力次元に関して「アテンション」（機械が着目した重要な“特徴”）を抽出することによって，出力との因果関係を導出する方法を検討し，理解の妥当性を評価した．これによって，学習結果のフィルタ効果を確認しており，副次的な効果として，2023年度の研究計画に盛り込む予定である．理解や説明を促すための方法が，学習による制御の冗長な部分や，これまで不可避であった，確率的な挙動解消に対しての有効性が期待できる．

In this project, in the near future, the range of human behavior will co-exist in the field of self-regulation, self-regulation, self-regulation and self-regulation. You can learn how to control the rules and conditions of the system, such as the number of rules, the number of rules, the number of rules. It is necessary to suddenly avoid the situation, and the purpose of the experiment is to carry out the in-depth study of the proposal to strengthen the chemical test, and the good results of the computer system. The main premise of the real-time operation is down, and the main premise of the operation is down, and the method of controlling the problem is effective. In the second stage, the optimization problem is established. The method is completed, and the method is intended to show that the performance is valid. the above, mechanical engineering, mechanical performance, control, control, performance, performance and performance. The co-existence of human health is not a problem. This is an important problem. This is an important problem. The designer understands the method to promote the performance of the computer. After learning to control the input of the computer, the statistical analysis of the statistics is performed, and the force is extracted from the mechanical device. Use cause and effect to determine the effectiveness of the method, and understand the appropriate information. The results show that the results confirm the results and the secondary results. The 2023 research plan is expected to be successful. Understand how to improve the performance of the research program, improve the performance of the system, and make sure that you can not avoid the problem. To make sure that the rate of action is eliminated, there is a lot of sexual expectation.

项目成果

深層強化学習を用いた自動運転の制御限界の検出

使用深度强化学习检测自动驾驶的控制极限

• 发表时间: 2022
• 作者: 岸川 大航;荒井 幸代;今村麟太郎，荒井幸代
• 通讯作者: 今村麟太郎，荒井幸代

Multi-objective deep inverse reinforcement learning for weight estimation of objectives

用于目标权重估计的多目标深度逆强化学习

• DOI: 10.1007/s10015-022-00773-8
• 发表时间: 2022
• 期刊: Artificial Life and Robotics
• 影响因子: 0.9
• 作者: Takayama Naoya;Arai Sachiyo
• 通讯作者: Arai Sachiyo

Reward Matrix Decomposition for Multi-Objective Inverse Reinforcement Learning

多目标逆强化学习的奖励矩阵分解

• DOI: 10.11517/pjsai.jsai2022.0_4e1gs205
• 发表时间: 2022
• 期刊: Proceedings of the Annual Conference of JSAI
• 作者: 岸川 大航;荒井 幸代
• 通讯作者: 荒井 幸代

強化学習とモデル予測制御を用いた UAV の自律的バッテリー管理による飛行経路最適化

使用强化学习和模型预测控制进行无人机自主电池管理的飞行路径优化

• 发表时间: 2022
• 作者: 岸川 大航;荒井 幸代;今村麟太郎，荒井幸代;堀江直人，荒井幸代
• 通讯作者: 堀江直人，荒井幸代