权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

三次元空間情報を用いた実世界質問応答基盤の創出

使用 3D 空间信息创建现实世界问答平台

基本信息

批准号：
22K12159
负责人：
宮西大樹
金额：
$ 2.58万
依托单位：
Advanced Telecommunications Research Institute International
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12159/
关键词：
コンピュータビジョン自然言語処理 3D点群 3D点群データ Embodied AI

项目摘要

本研究では、申請者がこれまで取り組んできた二次元動画像の視覚的質問応答手法と近年発展が著しい三次元空間認識技術を統合することで、三次元空間情報について自然言語を介して問い合わせできる三次元空間質問応答技術を確立する。複数の屋内環境をRGB-Dスキャンした三次元空間情報の質問応答データセットを作成し、従来の2D-VQAとの比較検証を行い、実空間の意味的・立体的理解が必要な問い合わせに三次元空間データが有用であることを実証する。今年度は以下の項目に取り組んだ。①三次元空間質問応答データセットの作成：三次元空間質問応答モデルの学習と評価を行うため、三次元空間質問応答データセットを作成した。質問応答データセットの作成は、質問回答の自動生成と手動によるアノテーションのハイブリッド形式を採用した。三次元空間情報のデータとしては、屋内環境をRGB-DスキャンしたデータセットScanNetを用いた。実空間のデータに対して手動だけで質問を作成すると、比較的簡単な質問が作成されてしまう問題があるため、ScanNetの環境内にある各物体に言語的記述を施したScanReferのデータに質問回答生成モデルを適用することで、三次元空間中の物体に対する質問とその解答を自動生成した。②三次元物体認識技術を用いた三次元空間質問応答モデルの開発：実空間をRGB-Dスキャンした三次元空間情報とその空間に関する自由形式の質問を入力とし、その質問と三次元空間データ(点群データ)に対応する回答を予測する視覚的質問応答モデルを開発した。視覚的質問応答のデータに三次元物体認識の結果を用いることで、物体の位置関係や形状を考慮しつつ、オクルージョンへの頑健性を高め、カメラ視点に左右されずに物体の同一性を保証した視覚的質問応答を可能とした。

This study aims to establish the inquiry and answer techniques for 2D animated images and 3D spatial information, which have been developed in recent years. A plurality of indoor environment, RGB-D space, three-dimensional space information, query and answer, comparison and verification of 2D-VQA, three-dimensional understanding of the meaning of space, and necessary questions. This year, the following items are selected. 1. Three-dimensional space query: three-dimensional space query Question answer creation, question answer automatic generation, question answer creation, question answer, question answer, The three-dimensional space information is used in the indoor environment. The simple question for creating and comparing a query in space is automatically generated by creating and applying a query for each object in ScanNet environment. 2. Three-dimensional object recognition technology uses three-dimensional space query to answer questions: spatial RGB-D query, three-dimensional space information, spatial relations, free-form query, input force, questions, three-dimensional space query (point group query), answer, prediction, visual query, answer. The result of recognition of three-dimensional objects is used in the visual query, and the positional relationship and shape of the objects are considered. The robustness of the objects is high, and the identity of the objects is guaranteed.