三次元空間情報を用いた実世界質問応答基盤の創出

使用 3D 空间信息创建现实世界问答平台

• 批准号: 22K12159
• 负责人: 宮西 大樹
• 金额: $ 2.58万
• 依托单位: Advanced Telecommunications Research Institute International
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12159/
• 关键词: コンピュータビジョン; 自然言語処理; 3D点群; 3D点群データ; Embodied AI

本研究では、申請者がこれまで取り組んできた二次元動画像の視覚的質問応答手法と近年発展が著しい三次元空間認識技術を統合することで、三次元空間情報について自然言語を介して問い合わせできる三次元空間質問応答技術を確立する。複数の屋内環境をRGB-Dスキャンした三次元空間情報の質問応答データセットを作成し、従来の2D-VQAとの比較検証を行い、実空間の意味的・立体的理解が必要な問い合わせに三次元空間データが有用であることを実証する。今年度は以下の項目に取り組んだ。①三次元空間質問応答データセットの作成：三次元空間質問応答モデルの学習と評価を行うため、三次元空間質問応答データセットを作成した。質問応答データセットの作成は、質問回答の自動生成と手動によるアノテーションのハイブリッド形式を採用した。三次元空間情報のデータとしては、屋内環境をRGB-DスキャンしたデータセットScanNetを用いた。実空間のデータに対して手動だけで質問を作成すると、比較的簡単な質問が作成されてしまう問題があるため、ScanNetの環境内にある各物体に言語的記述を施したScanReferのデータに質問回答生成モデルを適用することで、三次元空間中の物体に対する質問とその解答を自動生成した。②三次元物体認識技術を用いた三次元空間質問応答モデルの開発：実空間をRGB-Dスキャンした三次元空間情報とその空間に関する自由形式の質問を入力とし、その質問と三次元空間データ(点群データ)に対応する回答を予測する視覚的質問応答モデルを開発した。視覚的質問応答のデータに三次元物体認識の結果を用いることで、物体の位置関係や形状を考慮しつつ、オクルージョンへの頑健性を高め、カメラ視点に左右されずに物体の同一性を保証した視覚的質問応答を可能とした。

This study で は, applicants が こ れ ま で group take り ん で き た two dimensional animation like の regard 覚 questioned 応 a gimmick と 発 exhibition が in recent years the し い three dimensional space know technology integration を す る こ と で, three dimensional space information に つ い て natural speech を interface し て asked い close わ せ で き る three dimensional spatial query 応 を established a technology す る. Plural の house environment を RGB - D ス キ ャ ン し た three dimensional space intelligence の questioned 応 answer デ ー タ セ ッ ト を made し, 2 D - the VQA 従 to の と の is 検 line card を い の means, be space, three-dimensional understanding of が な asked い necessary close わ せ に three dimensional space デ ー タ が useful で あ る こ と を card be す る. This year, the following に items に are taken from the んだ group. (1) three dimensional spatial query 応 answer デ ー タ セ ッ ト の is made: three dimensional spatial query 応 answer モ デ ル の learning と review 価 を line う た め, three dimensional spatial query 応 answer デ ー タ セ ッ ト を made し た. Query 応 answer デ ー タ セ ッ ト の make は, question answer の automatically generated と manual に よ る ア ノ テ ー シ ョ ン の ハ イ ブ リ ッ ド form を using し た. Three dimensional space intelligence の デ ー タ と し て は, the room environment を RGB - D ス キ ャ ン し た デ ー タ セ ッ ト ScanNet を with い た. Be space の デ ー タ に し seaborne て manual だ け で questioned を made す る と, comparison of Jane 単 な questioned が made さ れ て し ま う problem が あ る た め, ScanNet の environment に あ る に words account of various objects を shi し た ScanRefer の デ ー タ に question answer generated モ デ ル を applicable す る こ と で, の object in three dimensional space に polices Youdaoplaceholder0 question とそ する answer を automatically generate た た. ② Three-dimensional object recognition technology を uses を た three-dimensional space to question 応 answer モデ を development: Be を RGB space - D ス キ ャ ン し た three dimensional space intelligence と そ の space に masato す る free form の questioned を と into force し, そ の questioned と three dimensional space デ ー タ (point group デ ー タ) に 応 seaborne す る answer を be す る regards 覚 questioned 応 answer モ デ ル を open 発 し た. See 覚 questioned 応 answer の デ ー タ に three dimensional objects know の results を い る こ と で shape, object position の masato や を consider し つ つ, オ ク ル ー ジ ョ ン へ の operations, high を め, カ メ ラ viewpoints about に さ れ ず の に object identity を guarantee し た regards 覚 questioned 応 may answer を と し た.

项目成果

ScanQA: 3D Question Answering for Spatial Scene Understanding

• DOI: 10.1109/cvpr52688.2022.01854
• 发表时间: 2021-12
• 期刊: 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Daich Azuma;Taiki Miyanishi;Shuhei Kurita;M. Kawanabe