複数人称視点に基づく知能化空間の時空間記述とシーン再構成

点击翻译按钮获取中文摘要

本年度は，複数人称視点画像に基づく人・ロボット共生シーンの状況要約手法について，昨年度までの実験結果をまとめ，国際論文誌1件に投稿した．また，要約情報に基づく3次元再現シーンのAR提示に向けた，3次元シーン生成手法に関する研究に着手した．複数人称視点画像に基づく人・ロボット共生シーンの状況要約手法については，昨年度までに本研究課題に即した評価データセットの構築，複数人称視点画像から自然言語説明文として状況要約する機械学習モデルの開発，自動評価手法を用いた従来手法との定量的な有効性評価，および内部挙動の可視化による定性的解析を行った．本年度は，これらの成果をまとめた論文を国際論文誌Robomech Journalに投稿し，採録された．また，要約情報に基づいて3次元シーンを再現するためのアプローチとして，深層生成モデルに基づく3次元シーン生成手法の開発に着手した．本研究ではまず，画像表現が可能な距離センサの3次元点群データに着目し，軽量な2次元演算を介した3次元シーン生成モデルの開発に取り組んだ．本年度は，既存手法の学習安定性と品質の改善に取り組み，自動運転車の全方位距離センサから構築された路上の3次元点群データを用いて有効性を検証した．開発した手法は，距離センサで得られる一般の3次元点群データに適用できるため，学習用データセットを構築することができれば，本課題で想定するような屋内シーンの生成に今後転用することができる．