One-shot self-supervised learning for high quality 3D shape scanning

点击翻译按钮获取中文摘要

令和4年度 (以下、本年度)は、① X線CT装置による三次元ボリューム取得手法の改善、ならびに②光学式の3Dスキャナ等で取得された表面メッシュデータから後処理によってノイズを除去するための機械学習法について研究を実施した。X線CT装置による三次元形状データの取得においては、少数投影像から大規模な三次元CT像を効率的に再構成する深層学習手法を開発した。提案法は、三次元CTボリューム内の短い棒状領域を、その領域が検出器に投影された際の軌跡上にある画素の強度を用いて再構成する。これにより、三次元ボリュームを一度に再構成する必要がなくなり、ニューラルネットが使用するメモリ量を大幅に削減できる。本手法は、単一のCT画像を得るのに必要な1000枚程度の投影像のみから抽出したトレーニングデータだけを用いて、人工的な実験データと実データの両方に対して効果的に動作することが示された。これに加え、X線CT画像のコントラスト低下の一因であるX線の散乱を半教師付き学習により補正する技術も合わせて研究した。本手法は、半教師付き学習法でありながらも、散乱除去機構を持つCT装置による撮像を一度行えば、学習に十分な訓練データを得ることができ、高品質CT画像取得に大きく寄与することが期待される。また、表面メッシュのノイズの除去に関する研究では、本研究の目的とする、単一の入力からの自己教師付き学習によるノイズ除去手法を提案した。提案法では、頂点位置と面法線の両者からノイズを除去するための二つのグラフ畳み込みネットワークを同期的に学習させることで、特に機械部品などに多く見られる、エッジやコーナーの形状を正確に復元することに成功している。本研究課題の目的通り、この成果では、不完全な入力のみから表面形状を高品質化していながら、従来の学習データを大量に必要とする深層学習法に迫る性能を得ることに成功している。