時系列マルチモーダル情報の分節化に基づくロボットの適応的な行動学習と生成

人と共生するロボットが環境や文脈に応じて柔軟に行動するために、知覚するマルチモーダルなセンサ情報を教師なしで意味を持つまとまり（分節）に分割し、類似するカテゴリに分類するモデルの構築を行った。令和4年度では、迷路内を移動するロボットが知覚した一人称視点の視覚情報を用いて通路をクラスタリングすることで、未学習の移動可能な経路の推定ができる統計モデルの構築を行なった。また、ロボットが移動することで知覚した時間的かつ空間的な視覚情報のみから迷路（環境）の構造の学習ができることを示した。さらに、提案手法は統計モデルであるため深層学習手法に比べて説明可能性が高いことを示した。また、統計モデルの分節化手法を階層的に接続することにより、音声波形のみから音素や単語、文法へ階層的に教師なしで分節化可能な大規模モデルを機械学習のフレームワークを導入することで実現した。加えて、ロボットの連続する動作情報から動作（分節）を分割・分類し、強化学習によって環境に適する動作に分節を修正することで未知の物体の把持が可能な手法の開発に取り組んだ。また、単語と物体、物体の位置のマッピングにより環境のクラスタリングを行い、そのカテゴリにロボットの動作を関連づけることで、目標とする環境を実現するための動作を生成可能なモデルの構築を行った。さらに、ロボットに自然な動作を学習させるために、視覚情報のみから人間の動作を模倣可能な手法の実現に取り組んだ。これらの研究成果を論文誌や国内の学会に投稿、発表した。

人と共生するロボットが環境や文脈に応じて柔軟に行動するために、知覚するマルチモーダルなセンサ情報を教師なしで意味を持つまとまり（分節）に分割し、類似するカテゴリに分類するモデルの構築を行った。令和4年度では、迷路内を移動するロボットが知覚した一人称視点の視覚情報を用いて通路をクラスタリングすることで、未学習の移動可能な経路の推定ができる統計モデルの構築を行なった。また、ロボットが移動することで知覚した時間的かつ空間的な視覚情報のみから迷路（環境）の構造の学習ができることを示した。さらに、提案手法は統計モデルであるため深層学習手法に比べて説明可能性が高いことを示した。また、統計モデルの分節化手法を階層的に接続することにより、音声波形のみから音素や単語、文法へ階層的に教師なしで分節化可能な大規模モデルを機械学習のフレームワークを導入することで実現した。加えて、ロボットの連続する動作情報から動作（分節）を分割・分類し、強化学習によって環境に適する動作に分節を修正することで未知の物体の把持が可能な手法の開発に取り組んだ。また、単語と物体、物体の位置のマッピングにより環境のクラスタリングを行い、そのカテゴリにロボットの動作を関連づけることで、目標とする環境を実現するための動作を生成可能なモデルの構築を行った。さらに、ロボットに自然な動作を学習させるために、視覚情報のみから人間の動作を模倣可能な手法の実現に取り組んだ。これらの研究成果を論文誌や国内の学会に投稿、発表した。