三次元空間情報を用いた実世界質問応答基盤の創出

使用 3D 空间信息创建现实世界问答平台

• 批准号: 22K12159
• 负责人: 宮西 大樹
• 金额: $ 2.58万
• 依托单位: Advanced Telecommunications Research Institute International
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12159/
• 关键词: コンピュータビジョン; 自然言語処理; 3D点群; 3D点群データ; Embodied AI

本研究では、申請者がこれまで取り組んできた二次元動画像の視覚的質問応答手法と近年発展が著しい三次元空間認識技術を統合することで、三次元空間情報について自然言語を介して問い合わせできる三次元空間質問応答技術を確立する。複数の屋内環境をRGB-Dスキャンした三次元空間情報の質問応答データセットを作成し、従来の2D-VQAとの比較検証を行い、実空間の意味的・立体的理解が必要な問い合わせに三次元空間データが有用であることを実証する。今年度は以下の項目に取り組んだ。①三次元空間質問応答データセットの作成：三次元空間質問応答モデルの学習と評価を行うため、三次元空間質問応答データセットを作成した。質問応答データセットの作成は、質問回答の自動生成と手動によるアノテーションのハイブリッド形式を採用した。三次元空間情報のデータとしては、屋内環境をRGB-DスキャンしたデータセットScanNetを用いた。実空間のデータに対して手動だけで質問を作成すると、比較的簡単な質問が作成されてしまう問題があるため、ScanNetの環境内にある各物体に言語的記述を施したScanReferのデータに質問回答生成モデルを適用することで、三次元空間中の物体に対する質問とその解答を自動生成した。②三次元物体認識技術を用いた三次元空間質問応答モデルの開発：実空間をRGB-Dスキャンした三次元空間情報とその空間に関する自由形式の質問を入力とし、その質問と三次元空間データ(点群データ)に対応する回答を予測する視覚的質問応答モデルを開発した。視覚的質問応答のデータに三次元物体認識の結果を用いることで、物体の位置関係や形状を考慮しつつ、オクルージョンへの頑健性を高め、カメラ視点に左右されずに物体の同一性を保証した視覚的質問応答を可能とした。

在这项研究中，我们将建立一种三维空间问题解答技术，该技术使申请人能够通过自然语言通过自然语言查询三维空间信息，通过整合2D视频视觉询问 - 答案技术的视觉疑问答案方法，该方法迄今一直在与三维空间认识技术一起一直在开发的三维空间识别技术，这些技术一直在开发了很快。我们创建了一个三维空间信息的问题响应数据集，该数据涉及多个室内环境的RGB-D扫描，并与常规的2D-VQA进行比较和验证，以证明三维空间数据对于需要对实际空间的语义和3D理解的查询有用。今年，我们对以下内容进行了工作：1。创建一个3D空间问题响应数据集：创建了一个3D空间问题响应数据集来训练和评估3D空间问题响应模型。问题解答数据集的创建采用自动提问和手动注释的混合形式。作为三维空间信息的数据，使用了由室内环境的RGB-D扫描的扫描仪数据集。因为有一个问题，可以通过应用问题 - 答案生成模型来扫描扫描仪环境中每个对象的语言描述，在三维空间中对每个对象的语言描述扫描数据，可以为真实空间中的数据手动创建问题。 2。使用三维对象识别技术开发了三维空间问题解答模型：我们开发了一种视觉质疑解答模型，该模型使用了真实空间的RGB-D扫描和有关该空间作为输入的自由形式问题，并预测了与问题和三维空间数据（点云数据）相对应的答案。通过使用三维对象识别的结果作为视觉问题回答的数据，可以在考虑对象的位置关系和形状的同时增加稳健性，以确保对象的身份不受相机的观点的影响。

项目成果

ScanQA: 3D Question Answering for Spatial Scene Understanding

• DOI: 10.1109/cvpr52688.2022.01854
• 发表时间: 2021-12
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Daich Azuma;Taiki Miyanishi;Shuhei Kurita;M. Kawanabe