权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Part-based 3D shape retrieval using multi-modal query

使用多模态查询进行基于零件的 3D 形状检索

基本信息

批准号：
21K11903
负责人：
大渕竜太郎
金额：
$ 2.66万
依托单位：
University of Yamanashi
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11903/
关键词：
3次元点群解析 3次元点群形状再構成 3次元形状類似検索自己教師あり学習 3次元点群トランスフォーマー深層学習 3次元形状検索トランスフォーマー拡散距離教師無し学習部分3D形状検索マルチメディア検索 3D形状比較マルチモーダルクエリ機械学習

项目摘要

本年度は，昨年度に引き続き，3D形状検索の基盤となる3次元（3D）形状の解析及び3D形状特徴の獲得方法について以下の3つのアプローチから研究を行った．(1)３D点群形状再構成エンコーダDNN：潜在特徴から高精度な3D形状を再構成するデコーダDNNを提案し評価した．提案した手法は，3D空間および高次元の特徴空間において多数のパッチを生成し，これらパッチを変形して融合することで3D形状を高精度に再構成する．3D形状から潜在特徴空間の特徴ベクトルへのエンコーダDNNを自己教師あり学習する場合，しばしば，これを潜在特徴空間の特徴ベクトルから3D形状へのデコーダDNNと対にして学習を行う．その場合，高精度に３D形状再構成を行うデコーダを用いることで，より高精度な3D形状エンコーダの学習が可能となる．（研究発表1，採録）(2) トランスフォーマDNNによる3D点群解析：トランスフォーマによる高精度かつ回転不変な3D点群形状特徴取得をめざし，昨年度に引き続き研究を行った．改良を加えた結果，回転不変に3D点群を解析する手法としては既存手法と比較して最高の精度を達成した．（研究発表2，査読中）(3) 検索向けの3D形状特徴教師無し学習：類似検索に有用な形状間類似度を得られるような，連続かつなめらかな形状特徴空間を教師無しで学習することを目指し，深層学習で得た特徴の多様体上で拡散によるスムージングを行うDeepDiffusion法を提案し評価した．3D形状モデルおよび2D画像の異種データについて複数のデータセットを用いて実験的評価を行った結果，提案手法により取得した形状特徴は既存手法より高い検索精度を与えることが分かった．（研究発表3，採録）

This year, last year's 3D shape, 3D shape, 3D shape, and 3D shape Analysis and analysis of the method of obtaining the characteristics of 3D shape are carried out below. (1) 3D point group shape reconstruction DNN: Potential characteristics of high-precision 3D shape reconstruction DNN proposal and review. Proposal method, 3D space, high dimension, special space, many students It is made into a high-precision 3D shape and reconstructed into a modified shape. 3D shape potential special space の特徴ベクトルへのエンコーダDNNをMy own teacher ありStudy する occasion, しばしば, これをPotential special space の特徴ベクトルから3D shape へのデコーダDNN と対にしてlearn を行う. In this case, it is possible to use high-precision 3D shape reconstruction and high-precision 3D shape reconstruction using いることで. (Research Table 1, collected) (2)トランスフォーマDNNによる3D point group analysis: トランスフォーマによるHigh precisionかThe 3D point group shape characteristics of the 3D point group were obtained in 2017, and the 3D point group shape characteristics were obtained last year. Improved results, improved 3D point group analysis techniques, existing techniques and comparisons, achieved the highest accuracy. (Research Table 2, under review) (3)検SO learns from けの3D shape special 徴师无し: similar 検SO に is useful and the similarity between shapes is を得られるような, even 続かつなめらかな shape special space を Sensei MUしでLearn the purpose of the study, and the deep learning method is the DeepDiffusion method. Comments on 3D shape モデルおよび 2D image のdifferent species データについてplural のデータセットを用いて実験As a result, the proposed technique was used to obtain the special shape and the existing technique was to achieve high precision and accuracy. (Research Table 3, collected)