拡張時空間シーングラフによる未知物体を含むシーン認識・記述基盤の構築

使用扩展时空场景图构建场景识别/描述基础设施，包括未知对象

• 批准号: 21H03519
• 负责人: 川西 康友
• 金额: $ 9.82万
• 依托单位: Institute of Physical and Chemical Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03519/
• 关键词: 拡張時空間シーングラフ; 未知物体検出; 未知物体対応付け; 未知物体; セグメンテーション; シーングラフ; キャプショニング; データセット生成

今年度は，昨年度に引き続き，未知物体が含まれる画像に対するシーングラフ生成・セグメンテーション技術の高精度化に取り組んだ．また，シーングラフを用いた様々な応用についても検討した．まず，シーングラフ生成技術の高精度化について，昨年度構築した評価方法を用いて，提案手法の高度化に取り組んだ．この成果は現在論文投稿中である．一方，未知物体領域のセグメンテーションのために昨年度検討したデータセット構築をもとに構築したデータセット整理し，そのデータセットを用いて，未知物体のセグメンテーションに関する研究を進めた．物体個々にセグメンテーションが可能なパノプティックセグメンテーションと背景モデリング技術を組み合わせ，新規にシーン中に現れた未知物体領域を抽出する技術を提案し，国際会議で発表してBest Paper Awardを受賞した．さらに，シーングラフ推定の応用として，画像集合に対する説明文生成手法を提案した．複数枚の画像から得られる情報を統合する目的で，各画像から得られるシーングラフを統合する手法に関する研究を進めた．各画像から得られるシーングラフのノード同士の対応関係をもとにグラフを統合し，一つのグラフを生成する．この際，同一概念の物体を，外部の知識を用いて抽象化することで同一視して統合する方法を提案した．この画像集合に対する説明文生成手法について，国際会議で発表した．さらに今年度は国際会議を含む複数の会議で招待講演を行い，その中で本プロジェクトの未知物体を含むシーングラフ生成とその応用に関し，広く紹介した．

Our は, yesterday's annual に き 続 き, unknown object contains が ま れ る portrait に す seaborne る シ ー ン グ ラ フ generated · セ グ メ ン テ ー シ ョ ン technology の is changed に group take り ん だ. ま た, シ ー ン グ ラ フ を with い た others 々 な 応 with に つ い て も beg し 検 た. ま ず, シ ー ン グ ラ フ generation の precision turn に つ い て, yesterday's annual construct し を 価 た evaluation method using い て, proposal gimmick の に empirically group take り ん だ. Youdaoplaceholder0 the results are currently in the submission of the paper である. One party, the unknown object field の セ グ メ ン テ ー シ ョ ン の た め に yesterday annual beg し 検 た デ ー タ セ ッ ト build を も と に build し た デ ー タ セ ッ ト し, そ の デ ー タ セ ッ ト を with い て, unknown object の セ グ メ ン テ ー シ ョ ン に masato す を る research into め た. Object a 々 に セ グ メ ン テ ー シ ョ ン が may な パ ノ プ テ ィ ッ ク セ グ メ ン テ ー シ ョ ン と background モ デ リ ン グ technology group を み わ せ, new rules に シ ー ン に now れ た unknown object field を drew す を proposal し る technology, the international conference on で 発 table し て Best Paper Award を who し た. さ ら に, シ ー ン グ ラ フ presumption の 応 with と し て, portrait collection に す seaborne る exposition generation technique proposed を し た. Plural pieces of の portrait か ら have ら れ る intelligence を integration す で る purpose, each portrait か ら have ら れ る シ ー ン グ ラ フ を integration す る gimmick に masato す を る research into め た. Each portrait か ら have ら れ る シ ー ン グ ラ フ の ノ ー ド with James の 応 seaborne masato is を も と に グ ラ フ integration を し, a つ の グ ラ フ を generated す る. の object を こ の international, the same concept, external knowledge の を with い て abstraction す る こ と で the same visual し て integration す る method proposed を し た. The <s:1> image collection に on the generation techniques of する expository texts に て て て, the international conference で has made a statement on た た. さ ら に our は "を contain む plural の international conference meeting で entertaining speeches を い, そ の で in this プ ロ ジ ェ ク ト の unknown object contains を む シ ー ン グ ラ フ generated と そ の 応 with に masato し, hiroo く recommend し た.

项目成果

A preliminary study on view independent panoptic scene change detection

视角无关的全景场景变化检测初步研究

• DOI: 10.1117/12.2666872
• 发表时间: 2023
• 期刊: International Workshop on Advanced Imaging Technology (IWAIT)
• 作者: Li Jiaxin;Kawanishi Yasutomo;Deguchi Daisuke;Murase Hiroshi
• 通讯作者: Murase Hiroshi

Towards captioning an image collection using scene graph

使用场景图为图像集添加标题

• 发表时间: 2022
• 作者: Itthisak Phueaksri;Marc Aurel Kastner;Yasutomo Kawanishi;Takahiro Komamizu;Ichiro Ide
• 通讯作者: Ichiro Ide

生活環境で動作するロボットにおける画像認識と3次元的理解

在生活环境中运行的机器人的图像识别和 3D 理解

• 发表时间: 2022
• 作者: 五箇 亮太;諸戸 祐哉;前田 圭介;小川 貴弘;長谷山 美紀;川西康友
• 通讯作者: 川西康友

Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach

通过组合场景图表示方法为图像集合添加字幕

• DOI: 10.1007/978-3-031-27077-2_14
• 发表时间: 2023
• 期刊: Lecture Notes in Computer Science book series
• 作者: Phueaksri Itthisak;Kastner Marc A.;Kawanishi Yasutomo;Komamizu Takahiro;Ide Ichiro
• 通讯作者: Ide Ichiro

周囲の環境を見守り、人と共存するロボット「ぶつくさ君」

“Butsukusa-kun”是一个监视周围环境并与人类共存的机器人。

• 发表时间: 2022
• 作者: 五月女絢音;金井 理;伊達宏昭;遠藤維;川西康友
• 通讯作者: 川西康友