実環境におけるロボット指向の強化学習技術の確立

本研究の目的は，ロボットによる実世界タスクの自動化に向け，ロボットの試行錯誤から方策を学習するための新たな技術基盤を確立することである．本年度は，実世界タスクが持つi) 複数の最適行動とii) 行動の評価関数の複雑性をデータから捉えるために用いるモデルの開発とシミュレーションによる検証を行った．i)とii)に対して実用的なモデルを開発するために，確率的な回帰モデルであるガウス過程をベースとし，Normalizing Flowによってガウス過程の予測分布を非ガウス分布へ変換することで，実世界の複雑な分布を学習する．i)の複数の最適行動に対して，この手法は複雑な分布への変換に多くの計算時間がかかることが判明した．そのため，ベースとなる確率的な回帰モデルとして多峰な関数を回帰可能なMultimodal sparse Gaussian processを導入した．この手法を用いることで，ベースとなる回帰の計算時間が増加するものの，Normalizing flowにおける計算時間が削減され，モデル全体の計算時間が削減されることを確認した．シミュレーションによって複数の最適行動を持つロボットのタスク環境を実装し，この手法を適用することで，ロボットタスクの最適行動の数を事前に把握することなく複数の最適行動を選択可能な方策を学習できること，予測に必要な計算量をロボット応用に対して実用的な計算量に削減できることを確認した．この成果を査読付き国際会議へ投稿した．ii)の複雑な評価関数に対しては，ガウス過程を用いたモデルによって非連続的な評価関数を回帰できることを確認した．

本研究の目的は，ロボットによる実世界タスクの自動化に向け，ロボットの試行錯誤から方策を学習するための新たな技術基盤を確立することである．本年度は，実世界タスクが持つi) 複数の最適行動とii) 行動の評価関数の複雑性をデータから捉えるために用いるモデルの開発とシミュレーションによる検証を行った．i)とii)に対して実用的なモデルを開発するために，確率的な回帰モデルであるガウス過程をベースとし，Normalizing Flowによってガウス過程の予測分布を非ガウス分布へ変換することで，実世界の複雑な分布を学習する．i)の複数の最適行動に対して，この手法は複雑な分布への変換に多くの計算時間がかかることが判明した．そのため，ベースとなる確率的な回帰モデルとして多峰な関数を回帰可能なMultimodal sparse Gaussian processを導入した．この手法を用いることで，ベースとなる回帰の計算時間が増加するものの，Normalizing flowにおける計算時間が削減され，モデル全体の計算時間が削減されることを確認した．シミュレーションによって複数の最適行動を持つロボットのタスク環境を実装し，この手法を適用することで，ロボットタスクの最適行動の数を事前に把握することなく複数の最適行動を選択可能な方策を学習できること，予測に必要な計算量をロボット応用に対して実用的な計算量に削減できることを確認した．この成果を査読付き国際会議へ投稿した．ii)の複雑な評価関数に対しては，ガウス過程を用いたモデルによって非連続的な評価関数を回帰できることを確認した．