Development of inverse reinforcement learning focusing on the multiobjective nature of humans and autonomous systems: towards zero risk and comfort maximization.

本課題は，近い将来，人間の行動範囲に共存する自律機械のうち，ドローン，自動車，鉄道の自律制御るに対す機械学習の導入への信頼（安全性と安心）を担保することを目的としている．今年度は，上記目的に沿った適用可能な機械学習のアルゴリズムの検討と改善，および，学習によって獲得した制御則に基づいた運行（飛行，走行を総じて運行と呼ぶ）軌跡から，制御則の目的関数を推定する方法を検討し，簡易なベンチマークを用いて，方法の妥当性を検証した．ドローンは，既に実用が進む海外の状況から，複数台の飛行状況における協調と競合を想定して，衝突回避しながら，効率よく目的タスクの遂行を実施する深層強化学習アルゴリズムを提案し，計算機シミュレーション実験において良好な結果を得た．鉄道の運行については，定時運行の大前提の下で，鉄道運行における喫緊の課題である省エネルギー運転制御を実現する方法を，二段階最適化問題として定式化した方法のプロトタイプを作成し，従来の方法よりも有意に優れた性能を示すことを確認した．以上は，機械学習によって得られた制御方法によって，タスクの最適性の向上可能性を示唆する成果であるが，併せて，これらの動きに対する，人（設計者や，共存する人々）の反応を検証することも本課題の重要なエッセンスである．これについては，まず，設計者の理解を促す方法として，学習後の制御入力と出力の対応関係を統計的に分析し，入力次元に関して「アテンション」（機械が着目した重要な“特徴”）を抽出することによって，出力との因果関係を導出する方法を検討し，理解の妥当性を評価した．これによって，学習結果のフィルタ効果を確認しており，副次的な効果として，2023年度の研究計画に盛り込む予定である．理解や説明を促すための方法が，学習による制御の冗長な部分や，これまで不可避であった，確率的な挙動解消に対しての有効性が期待できる．

本課題は，近い将来，人間の行動範囲に共存する自律機械のうち，ドローン，自動車，鉄道の自律制御るに対す機械学習の導入への信頼（安全性と安心）を担保することを目的としている．今年度は，上記目的に沿った適用可能な機械学習のアルゴリズムの検討と改善，および，学習によって獲得した制御則に基づいた運行（飛行，走行を総じて運行と呼ぶ）軌跡から，制御則の目的関数を推定する方法を検討し，簡易なベンチマークを用いて，方法の妥当性を検証した．ドローンは，既に実用が進む海外の状況から，複数台の飛行状況における協調と競合を想定して，衝突回避しながら，効率よく目的タスクの遂行を実施する深層強化学習アルゴリズムを提案し，計算機シミュレーション実験において良好な結果を得た．鉄道の運行については，定時運行の大前提の下で，鉄道運行における喫緊の課題である省エネルギー運転制御を実現する方法を，二段階最適化問題として定式化した方法のプロトタイプを作成し，従来の方法よりも有意に優れた性能を示すことを確認した．以上は，機械学習によって得られた制御方法によって，タスクの最適性の向上可能性を示唆する成果であるが，併せて，これらの動きに対する，人（設計者や，共存する人々）の反応を検証することも本課題の重要なエッセンスである．これについては，まず，設計者の理解を促す方法として，学習後の制御入力と出力の対応関係を統計的に分析し，入力次元に関して「アテンション」（機械が着目した重要な“特徴”）を抽出することによって，出力との因果関係を導出する方法を検討し，理解の妥当性を評価した．これによって，学習結果のフィルタ効果を確認しており，副次的な効果として，2023年度の研究計画に盛り込む予定である．理解や説明を促すための方法が，学習による制御の冗長な部分や，これまで不可避であった，確率的な挙動解消に対しての有効性が期待できる．