权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

複数人称視点に基づく知能化空間の時空間記述とシーン再構成

基于多人视点的智能空间时空描述与场景重构

基本信息

批准号：
19J12159
负责人：
中嶋一斗
金额：
$ 1.09万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J12159/
关键词：
知能化空間ライフログ深層学習

项目摘要

本年度は，複数人称視点画像に基づく人・ロボット共生シーンの状況要約手法について，昨年度までの実験結果をまとめ，国際論文誌1件に投稿した．また，要約情報に基づく3次元再現シーンのAR提示に向けた，3次元シーン生成手法に関する研究に着手した．複数人称視点画像に基づく人・ロボット共生シーンの状況要約手法については，昨年度までに本研究課題に即した評価データセットの構築，複数人称視点画像から自然言語説明文として状況要約する機械学習モデルの開発，自動評価手法を用いた従来手法との定量的な有効性評価，および内部挙動の可視化による定性的解析を行った．本年度は，これらの成果をまとめた論文を国際論文誌Robomech Journalに投稿し，採録された．また，要約情報に基づいて3次元シーンを再現するためのアプローチとして，深層生成モデルに基づく3次元シーン生成手法の開発に着手した．本研究ではまず，画像表現が可能な距離センサの3次元点群データに着目し，軽量な2次元演算を介した3次元シーン生成モデルの開発に取り組んだ．本年度は，既存手法の学習安定性と品質の改善に取り組み，自動運転車の全方位距離センサから構築された路上の3次元点群データを用いて有効性を検証した．開発した手法は，距離センサで得られる一般の3次元点群データに適用できるため，学習用データセットを構築することができれば，本課題で想定するような屋内シーンの生成に今後転用することができる．

This year, a number of personal perspective portraits were presented, and the results of the previous year were presented as 1 contribution to the International Journal. 3-D reproduction and AR prompt for the offer information. This paper aims to construct the evaluation system for multi-person viewpoint portraits, to develop the mechanical learning system for multi-person viewpoint portraits, to apply the automatic evaluation system to quantitative evaluation, and to analyze the qualitative visualization of internal motion. This year's paper is published in Robomech Journal. 3-D reproduction of the offer information In this study, we found that the performance of the image could be divided into three groups: distance, 3-D point group, distance, distance, distance This year, the study stability and quality improvement of existing methods are selected, and the omni-directional distance of automatic transportation vehicles is constructed. The development method is suitable for general three-dimensional point group, and the learning method is suitable for building three-dimensional point group.