植物フェノタイピングのための遮蔽補完型三次元復元

用于植物表型分析的封闭互补 3D 重建

• 批准号: 21H03466
• 负责人: 大倉 史生
• 金额: $ 10.23万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03466/
• 关键词: コンピュータビジョン; 植物フェノタイピング; 三次元復元; 遮蔽補完

本研究の目的は、遮蔽を含む植物の三次元形状復元および解析フレームワークの確立である。本研究では、多視点あるいは単一・少数視点からの遮蔽補完型三次元復元を、二次元・三次元の形状・テクスチャの欠損修復・復元の最適化問題として扱う。これを達成するため、本研究では「研究項目1：多視点植物画像からの枝葉の三次元構造復元」、「研究項目2：単一・少数画像からの三次元構造復元」および、これらの手法を時空間に拡張した「研究項目3：構造トラッキングに基づく時系列復元および応用」を核とした研究を実施する。いずれの項目も、CV分野において新規性の大きい内容である。計画2年目である今年度は、「研究項目1：多視点植物画像からの枝葉の三次元構造復元」に関する本格的な実装に着手した。具体的には、多視点画像上でアモーダルセグメンテーションに基づく物体形状の修復（遮蔽補完）を行い、三次元空間中で統合するアプローチを取る。カメラ位置姿勢が既知であれば、多視点画像上で画像変換、画像修復、アモーダルセグメンテーション等を用いて欠損のない枝葉領域を推定し、これらを三次元空間中で統合することができる。このアイデアを実装し、シミュレーション画像および実画像で実験を行った。遮蔽補完を行わない手法と比較し、高精度な三次元復元を達成した。今年度は、合わせて「研究項目3：構造トラッキングに基づく時系列復元および応用」の基礎検討を実施した。本研究で主たるターゲットとする栽培やフェノタイピング（表現型定量化）の実応用に三次元形状復元手法を展開する際、時系列データに基づき植物の成長過程を記述することが極めて有用である。これを実現するためには、異なる時期に取得された植物構造のトラッキングが必要となる。本研究では、植物構造の事前知識を用いた植物構造のトラッキングを提案することを目指し、具体的な実装方針を検討した。

The purpose of this study is to reconstruct and analyze the three-dimensional shape of plants containing. In this paper, we study the optimization problem of three-dimensional reconstruction, two-dimensional reconstruction, three-dimensional reconstruction and reconstruction from multiple viewpoints. This study includes "Research Project 1: Three-dimensional structural reconstruction of multi-viewpoint plant portraits,""Research Project 2: Three-dimensional structural reconstruction of single and minority portraits," and "Research Project 3: Three-dimensional structural reconstruction of basic time series and its application." In the middle of the project, CV division, the new nature of the content. This year, we started our research on "Project 1: Three-dimensional structural reconstruction of multi-viewpoint plant portraits and branches." Specific to the multi-viewpoint image, the basic object shape restoration (mask completion) is carried out in the three-dimensional space, and the integration is carried out. The position and posture of the image are known, the image is changed on the multi-viewpoint image, the image is restored, the image is restored, and the area of the branches and leaves is estimated, and the image is integrated in the three-dimensional space. This is the first time I've ever seen a picture of you. The method of mask completion is compared, and the three-dimensional reconstruction is achieved with high precision. This year, the basic discussion of "Research Project 3: Structure and Application of Basic Time Series" was carried out. This study is very useful in describing the growth process of plants by using the three-dimensional shape reconstruction method. It is necessary to obtain the plant structure at different times. In this study, we discuss the application of prior knowledge of plant structure, the proposal of plant structure design, and the specific design policy.

项目成果

農業は情報の「応用」か？農業分野から新しい情報技術を生み出す

农业是信息的“应用”吗？

• 发表时间: 2022
• 作者: 榎本平之;西口修平;飯島尋子;大倉 史生
• 通讯作者: 大倉 史生

Multispectral Photometric Stereo for Spatially-Varying Spectral Reflectances

用于空间变化光谱反射率的多光谱光度立体

• DOI: 10.1007/s11263-022-01634-4
• 发表时间: 2022
• 期刊: International Journal of Computer Vision (IJCV)
• 作者: Heng Guo;Fumio Okura;Boxin Shi;Takuya Funatomi;Yasuhiro Mukaigawa;and Yasuyuki Matsushita
• 通讯作者: and Yasuyuki Matsushita

Accuracy Evaluation and Prediction of Single-Image Camera Calibration

单图像相机标定精度评估与预测

• DOI: 10.1109/access.2023.3244212
• 发表时间: 2023
• 期刊: IEEE Access
• 影响因子: 3.9
• 作者: Kikkawa Susumu;Okura Fumio;Muramatsu Daigo;Yagi Yasushi;Saito Hideo
• 通讯作者: Saito Hideo

頂点最適化による植物の時空間トラッキング

使用顶点优化对植物进行时空跟踪

• 发表时间: 2022
• 作者: Aya Okamoto; Miku Uenaka; Kohta I. Kobayasi; Yuta Tamai;長原 稔樹，大倉 史生，八木 康史
• 通讯作者: 長原 稔樹，大倉 史生，八木 康史

画像変換を使用した単一肖像画からの3次元形状推定

使用图像变换从单个肖像估计 3D 形状

• 发表时间: 2022
• 作者: 淺田 直輝;山藤 浩明;大倉 史生;松下 康之
• 通讯作者: 松下 康之