权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Creation of datasets that combine 3D environmental and textual information

创建结合 3D 环境和文本信息的数据集

基本信息

批准号：
22K17983
负责人：
栗田修平
金额：
$ 2.91万
依托单位：
Institute of Physical and Chemical Research
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17983/
关键词：
実世界理解 3次元質問応答実世界言語理解自然言語処理

项目摘要

2022年度は、実世界の情報と自然言語テキストとを対応付けて理解する技術について研究を進めた。特にテキストの質問に即して3次元の環境情報を理解して動作するエージェントのための学習基盤を整備する研究を行った。既存の3次元理解では、3次元的な情報を、質疑応答を用いてテキストと対応付けるための大規模なデータセットが存在しないことにより、深層学習などの手法によるテキストに対応付けた3次元理解は困難な課題であった。本研究では実世界をテキストに対応付けて認識するデータセットを作成した。実世界のスキャンから作られた3次元シーンデータセットであるScanNetに“Where is the blue suitcase laid?”のようにシーンに対応した質問を作成し、室内環境から物体を探索して質問に解答するための大規模なデータセットであるScanQAデータセットおよび基本となる点群ニューラルネットワークモデルを作成した。この貢献により、既存の画像質問応答 (VQA) とは異なり、2D画像の中に写っていない物体についても、環境中から探索するようなモデルを作成することができるようになった。この成果は画像系のトップ国際会議CVPR2022に採択され口頭発表を行った。この他、キッチン環境にて、「（具材を）切る」「（複数の具材を）混ぜる」といった個別の調理動作により、対象となる具材がどのような変化を受けるかを、動画およびレシピテキストと対応付けて学習するためのデータセットを作成し、言語系の国際会議COLING2022に採択された。このように復数の分野での国際会議に採択されるなど、実世界の情報と自然言語テキストとを対応付けて理解する技術の研究は当初の想定を大きく超えて前進している。

In 2022, the world's information, natural speech and technology research will be advanced. The study on the development of the three-dimensional environmental information Existing three-dimensional understanding, three-dimensional information, query and answer, large-scale information, existence, deep learning, methods, three-dimensional understanding and difficult problems This study is aimed at understanding the world situation. ScanNet "Where is the blue suitcase laid?" For example, if you want to create a problem, you can create a problem for the indoor environment. If you want to create a problem for the indoor environment, you can create a problem for the indoor environment. This contribution makes it possible to change the existing portrait question and answer (VQA), to write objects in 2D portraits, and to create objects for exploration in the environment. The results of the international conference CVPR2022 were presented orally. The international conference COLING2022 was held in Beijing, China, in 2012 and 2013. The international conference COLING2022 was held in Beijing. The international conference of this kind of division will be held in Beijing, China. The information of the world, the language of the world, and the technology of understanding will be studied in the future.

项目成果

期刊论文数量（9）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

terative Span Selection: Self-Emergence of Resolving Orders in Semantic Role Labeling

迭代跨度选择：语义角色标注中解决顺序的自生

DOI：
发表时间：
2022
期刊：
The 29th International Conference on Computational Linguistics (COLING2022) (October 2022)
影响因子：
0
作者：
Shuhei Kurita;Hiroki Ouchi;Kentaro Inui and Satoshi Sekine
通讯作者：
Kentaro Inui and Satoshi Sekine

QuIC-360°: 360°画像に対するクエリ指向画像説明文生成のためのデータセット構築

QuIC-360°：用于生成 360° 图像的面向查询的图像描述的数据集构建

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
前田航希;栗田修平;宮西大樹
通讯作者：
宮西大樹

Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

DOI：
10.48550/arxiv.2209.05840
发表时间：
2022-09
期刊：
ArXiv
影响因子：
0
作者：
Keisuke Shirai;Atsushi Hashimoto;Taichi Nishimura;Hirotaka Kameko;Shuhei Kurita;Y. Ushiku;Shinsuke Mori
通讯作者：
Keisuke Shirai;Atsushi Hashimoto;Taichi Nishimura;Hirotaka Kameko;Shuhei Kurita;Y. Ushiku;Shinsuke Mori

ARKitSceneRefer: 3D屋内シーンでの参照表現による小物の位置特定

ARKitSceneRefer：在 3D 室内场景中使用参考表示来定位小物体