Mathematical modeling for 3D plant morphology as fundamental technologies of plant phenotyping

本年度は，植物形態のフェノーム解析に向けて，特に，個別要素の形状や形態のフェノタイピング技術の高度化とそれらが組合わさった複雑な表現型を定量化するための解析手法の適用可能性の検証に取り組んだ. 具体的には，3次元空間中における葉の輪郭形状を2次元的-3次元の情報を統合することで推定する手法の開発，葉脈のネットワーク構造のグラフとしての表現とネットワークベース特徴量による定量化を用いた形態空間解析，に取り組んだ．植物多視点画像データセットとそのアノテーションデータを活用し，深層学習に基づくインスタンスセグメンテーションによる２次元画像中の小葉の認識，SfM及びMVSによるカラメラパラメータの推定と3次元再構築，3次元インスタンスセグメンテーションと２次元画像中のインスタンスの対応付け， 輪郭形状推定を実装し，仮想データによる提案手法の精度検証と実データへ適用する上でのガイドラインの提案をおこなった．これにより従来の2次元的な投影や計測に基づく定量化や，3次元であっても輪郭の認識が難しいケースでは得ることができない3次元輪郭形状を直接的に推定することが可能となった．また，複雑な繰り返し構造である葉脈をグラフとして表現するための画像解析手法を提案し，染色画像と非処理画像の両方で構造抽出をおこなった．さらに，得られたグラフからネットワーク特徴量による定量化をおこない，形態空間上でその分布パターンを検証することで，葉脈構造に特異的な制約をデータドリブンに見出した．

本年度は，植物形態のフェノーム解析に向けて，特に，個別要素の形状や形態のフェノタイピング技術の高度化とそれらが組合わさった複雑な表現型を定量化するための解析手法の適用可能性の検証に取り組んだ. 具体的には，3次元空間中における葉の輪郭形状を2次元的-3次元の情報を統合することで推定する手法の開発，葉脈のネットワーク構造のグラフとしての表現とネットワークベース特徴量による定量化を用いた形態空間解析，に取り組んだ．植物多視点画像データセットとそのアノテーションデータを活用し，深層学習に基づくインスタンスセグメンテーションによる２次元画像中の小葉の認識，SfM及びMVSによるカラメラパラメータの推定と3次元再構築，3次元インスタンスセグメンテーションと２次元画像中のインスタンスの対応付け， 輪郭形状推定を実装し，仮想データによる提案手法の精度検証と実データへ適用する上でのガイドラインの提案をおこなった．これにより従来の2次元的な投影や計測に基づく定量化や，3次元であっても輪郭の認識が難しいケースでは得ることができない3次元輪郭形状を直接的に推定することが可能となった．また，複雑な繰り返し構造である葉脈をグラフとして表現するための画像解析手法を提案し，染色画像と非処理画像の両方で構造抽出をおこなった．さらに，得られたグラフからネットワーク特徴量による定量化をおこない，形態空間上でその分布パターンを検証することで，葉脈構造に特異的な制約をデータドリブンに見出した．