One-shot self-supervised learning for high quality 3D shape scanning

用于高质量 3D 形状扫描的一次性自我监督学习

• 批准号: 22K17907
• 负责人: 谷田川 達也
• 金额: $ 2.91万
• 依托单位: Hitotsubashi University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17907/
• 关键词: 三次元形状処理; 三次元スキャン; 機械学習; 自己教師付き学習; 単一ショット学習; 深層学習; 幾何形状処理

令和4年度 (以下、本年度)は、① X線CT装置による三次元ボリューム取得手法の改善、ならびに②光学式の3Dスキャナ等で取得された表面メッシュデータから後処理によってノイズを除去するための機械学習法について研究を実施した。X線CT装置による三次元形状データの取得においては、少数投影像から大規模な三次元CT像を効率的に再構成する深層学習手法を開発した。提案法は、三次元CTボリューム内の短い棒状領域を、その領域が検出器に投影された際の軌跡上にある画素の強度を用いて再構成する。これにより、三次元ボリュームを一度に再構成する必要がなくなり、ニューラルネットが使用するメモリ量を大幅に削減できる。本手法は、単一のCT画像を得るのに必要な1000枚程度の投影像のみから抽出したトレーニングデータだけを用いて、人工的な実験データと実データの両方に対して効果的に動作することが示された。これに加え、X線CT画像のコントラスト低下の一因であるX線の散乱を半教師付き学習により補正する技術も合わせて研究した。本手法は、半教師付き学習法でありながらも、散乱除去機構を持つCT装置による撮像を一度行えば、学習に十分な訓練データを得ることができ、高品質CT画像取得に大きく寄与することが期待される。また、表面メッシュのノイズの除去に関する研究では、本研究の目的とする、単一の入力からの自己教師付き学習によるノイズ除去手法を提案した。提案法では、頂点位置と面法線の両者からノイズを除去するための二つのグラフ畳み込みネットワークを同期的に学習させることで、特に機械部品などに多く見られる、エッジやコーナーの形状を正確に復元することに成功している。本研究課題の目的通り、この成果では、不完全な入力のみから表面形状を高品質化していながら、従来の学習データを大量に必要とする深層学習法に迫る性能を得ることに成功している。

In the fourth year of the year (hereinafter, this year), the improvement of three-dimensional display acquisition method for X-ray CT equipment, and the study of mechanical learning method for optical 3D display acquisition were carried out. X-ray CT equipment for the acquisition of three-dimensional shape, a small number of projection images from large-scale three-dimensional CT image reconstruction of the development of deep learning methods The proposed method is to reconstruct the intensity of the pixels in the short-rod-shaped field in the three-dimensional CT array. The amount of time needed to reconstruct the three-dimensional space is greatly reduced. The method is to extract the projection image of the single CT image at the level of 1000 pieces, and to manually perform the projection image of the single CT image. A study of the causes of low X-ray CT imaging and its correction The method includes the following steps: semi-teacher-paid learning method, scattered removal mechanism, CT device, image acquisition, one-degree operation, learning, training, and high-quality CT image acquisition. The purpose of this study is to propose a method of removing the surface area from the teacher's study. The proposed method is to remove the vertex position and the normal line of the plane, and to learn the same period of time. The mechanical part is to see more than one time, and the shape of the plane is correct. The purpose of this research is to improve the quality of surface shape by means of incomplete force and achievement. Deep learning method is necessary to improve performance.

项目成果

Learning Self-prior for Mesh Denoising Using Dual Graph Convolutional Networks

• DOI: 10.1007/978-3-031-20062-5_21
• 发表时间: 2022
• 期刊: Materials Research Express
• 影响因子: 2.3
• 作者: Shota Hattori;Tatsuya Yatagawa;Y. Ohtake;H. Suzuki

エネルギー最小化関数の解析的な勾配計算を用いた深層点対面点群整列法

利用能量最小化函数解析梯度计算的深度点对面点群对齐方法

• 发表时间: 2022
• 作者: 谷田川 達也;大竹 豊;鈴木 宏正
• 通讯作者: 鈴木 宏正

ニューラルFDK法: ニューラルネットによる棒状領域ごと少数投影像からのコーンビームCT再構成

神经 FDK 方法：使用神经网络根据每个棒状区域的少量投影图像进行锥束 CT 重建

デュアルグラフ畳み込みネットワークを用いた自己教師あり学習によるメッシュノイズ除去法

使用双图卷积网络的自监督学习的网格噪声去除方法

• 发表时间: 2022
• 作者: 服部 翔太;谷田川 達也;大竹 豊;鈴木 宏正
• 通讯作者: 鈴木 宏正

ガウス混合分布に基づく深層点群位置合わせ法の改善に向けたアテンションおよびマスク機構の検討

基于高斯混合分布的改进深度点云配准方法的注意力和掩模机制研究

• 发表时间: 2022
• 作者: 吉川 瑞紀;谷田川 達也;大竹 豊;鈴木 宏正
• 通讯作者: 鈴木 宏正