植物フェノタイピングのための遮蔽補完型三次元復元

点击翻译按钮获取中文摘要

本研究の目的は、遮蔽を含む植物の三次元形状復元および解析フレームワークの確立である。本研究では、多視点あるいは単一・少数視点からの遮蔽補完型三次元復元を、二次元・三次元の形状・テクスチャの欠損修復・復元の最適化問題として扱う。これを達成するため、本研究では「研究項目1：多視点植物画像からの枝葉の三次元構造復元」、「研究項目2：単一・少数画像からの三次元構造復元」および、これらの手法を時空間に拡張した「研究項目3：構造トラッキングに基づく時系列復元および応用」を核とした研究を実施する。いずれの項目も、CV分野において新規性の大きい内容である。計画2年目である今年度は、「研究項目1：多視点植物画像からの枝葉の三次元構造復元」に関する本格的な実装に着手した。具体的には、多視点画像上でアモーダルセグメンテーションに基づく物体形状の修復（遮蔽補完）を行い、三次元空間中で統合するアプローチを取る。カメラ位置姿勢が既知であれば、多視点画像上で画像変換、画像修復、アモーダルセグメンテーション等を用いて欠損のない枝葉領域を推定し、これらを三次元空間中で統合することができる。このアイデアを実装し、シミュレーション画像および実画像で実験を行った。遮蔽補完を行わない手法と比較し、高精度な三次元復元を達成した。今年度は、合わせて「研究項目3：構造トラッキングに基づく時系列復元および応用」の基礎検討を実施した。本研究で主たるターゲットとする栽培やフェノタイピング（表現型定量化）の実応用に三次元形状復元手法を展開する際、時系列データに基づき植物の成長過程を記述することが極めて有用である。これを実現するためには、異なる時期に取得された植物構造のトラッキングが必要となる。本研究では、植物構造の事前知識を用いた植物構造のトラッキングを提案することを目指し、具体的な実装方針を検討した。