权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Creation of datasets that combine 3D environmental and textual information

创建结合 3D 环境和文本信息的数据集

基本信息

批准号：
22K17983
负责人：
栗田修平
金额：
$ 2.91万
依托单位：
Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17983/
关键词：
実世界理解 3次元質問応答実世界言語理解自然言語処理

项目摘要

2022年度は、実世界の情報と自然言語テキストとを対応付けて理解する技術について研究を進めた。特にテキストの質問に即して3次元の環境情報を理解して動作するエージェントのための学習基盤を整備する研究を行った。既存の3次元理解では、3次元的な情報を、質疑応答を用いてテキストと対応付けるための大規模なデータセットが存在しないことにより、深層学習などの手法によるテキストに対応付けた3次元理解は困難な課題であった。本研究では実世界をテキストに対応付けて認識するデータセットを作成した。実世界のスキャンから作られた3次元シーンデータセットであるScanNetに“Where is the blue suitcase laid?”のようにシーンに対応した質問を作成し、室内環境から物体を探索して質問に解答するための大規模なデータセットであるScanQAデータセットおよび基本となる点群ニューラルネットワークモデルを作成した。この貢献により、既存の画像質問応答 (VQA) とは異なり、2D画像の中に写っていない物体についても、環境中から探索するようなモデルを作成することができるようになった。この成果は画像系のトップ国際会議CVPR2022に採択され口頭発表を行った。この他、キッチン環境にて、「（具材を）切る」「（複数の具材を）混ぜる」といった個別の調理動作により、対象となる具材がどのような変化を受けるかを、動画およびレシピテキストと対応付けて学習するためのデータセットを作成し、言語系の国際会議COLING2022に採択された。このように復数の分野での国際会議に採択されるなど、実世界の情報と自然言語テキストとを対応付けて理解する技術の研究は当初の想定を大きく超えて前進している。

In the year 2022, there has been a lot of progress in the study of technology and technology in the year 2022. Special attention should be paid to the understanding of the environmental situation in the third dimension, that is, the understanding of the environmental situation. There is a three-dimensional understanding, a three-dimensional relationship, a three-dimensional understanding, and a three-dimensional understanding. The purpose of this study is to make a decision on the basis of the knowledge and knowledge of the world. The world needs to know that there are three dimensions in the world, so that the ScanNet "Where is the blue suitcase laid?" In this connection, the indoor environment has been completed, and the indoor environment has been explored. The answer to the problem is that there is a large-scale ScanQA environment, and that the basic point group has been built. The existing portraits, the VQA, the 2D portraits, the objects, the environment, and the environment. The picture of the result is a table of rows in the CVPR2022 meeting. In the environment, the environment, the equipment, the environment, the environment, the environment and the environment. There is a distinction between international conferences, international conferences and international conferences.

项目成果

期刊论文数量（9）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

terative Span Selection: Self-Emergence of Resolving Orders in Semantic Role Labeling

迭代跨度选择：语义角色标注中解决顺序的自生

DOI：
发表时间：
2022
期刊：
The 29th International Conference on Computational Linguistics (COLING2022) (October 2022)
影响因子：
0
作者：
Shuhei Kurita;Hiroki Ouchi;Kentaro Inui and Satoshi Sekine
通讯作者：
Kentaro Inui and Satoshi Sekine

QuIC-360°: 360°画像に対するクエリ指向画像説明文生成のためのデータセット構築

QuIC-360°：用于生成 360° 图像的面向查询的图像描述的数据集构建

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
前田航希;栗田修平;宮西大樹
通讯作者：
宮西大樹

Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

DOI：
10.48550/arxiv.2209.05840
发表时间：
2022-09
期刊：
ArXiv
影响因子：
0
作者：
Keisuke Shirai;Atsushi Hashimoto;Taichi Nishimura;Hirotaka Kameko;Shuhei Kurita;Y. Ushiku;Shinsuke Mori
通讯作者：
Keisuke Shirai;Atsushi Hashimoto;Taichi Nishimura;Hirotaka Kameko;Shuhei Kurita;Y. Ushiku;Shinsuke Mori

ARKitSceneRefer: 3D屋内シーンでの参照表現による小物の位置特定

ARKitSceneRefer：在 3D 室内场景中使用参考表示来定位小物体