画像処理及び深層学習を用いた植物機能の3次元情報解析

使用图像处理和深度学习对植物功能进行 3D 信息分析

基本信息

批准号：
19J22701
负责人：
板倉健太
金额：
$ 2.18万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2022-03-31
项目状态：
已结题

项目摘要

本年度は、LiDARと呼ばれる、レーザースキャナーにて樹木を計測し、そこで得られた3次元情報を高度に解析する技術の開発を行った。さらに、そのような3次元計測を自動化するための基礎検討として、ドローンの自律走行による樹木や樹上の果実などの物体の解析方法の開発を行った。樹木の3次元情報の解析については、森林や都市の樹木を自動的に検出する方法や、樹木の葉と枝を自動的に分離する方法について研究を行った。この方法により、樹木個体の高さや幹の直径が解析できるだけでなく、葉の面積や樹木の幹の曲率などの情報も自動的に計算することが可能となる。このような高精度な解析を行うために、近年、深層学習の技術が用いられることが多いが、そのために、訓練データを用意することは容易ではない。そのため、教師なし学習と呼ばれる、訓練データの必要としない方法を提案した。これらの樹木を含む対象の3次元計測は、多大な労力や計測時間を要するだけでなく、特に災害時などは危険が伴う作業である。そのため、本研究では、前方の障害物などを検知しつつ、最適な航路にて樹木の計測ができないかと考えた。そこで、樹木個体を自動的、かつ高精度に検出する方法や、UAV（Unmanned Aerial Vehicle）の自律走行実験を行う。ここでは、狭い領域や屋内でも利用可能な、小型のUAVを用いた。農園（屋外）にて小型ドローンを自律航行させ、対象の樹木にある果実を自動カウントすることを行った。ここでは、ドローンをプログラミングによって制御することで、ユーザーの手動による操縦を含まない。また、果実の検出に関しては、深層学習による方法や、古典的な画像解析による方法を並行して試し、より高精度な果実の検出技術を作成することができた。

今年，我们开发了一种使用称为LiDAR的激光扫描仪测量树木的技术，并高度分析了那里获得的3D信息。此外，作为自动化此类3D测量的基础研究，我们开发了一种通过自动驾驶无人机来分析树木和树木上的果实的方法。关于三维树信息的分析，我们对如何自动检测森林和城市树以及如何自动分离树木的叶子和树枝进行了研究。这种方法不仅允许分析单个树的高度和躯干的直径，而且还允许自动计算诸如叶片面积和树干曲率之类的信息。近年来，深度学习技术已被用来进行如此高精度的分析，但是因此，准备培训数据并不容易。因此，我们提出了一种称为无监督学习的方法，该方法不需要培训数据。包含这些树木的物体的三维测量不仅需要大量的精力和测量时间，而且是危险的任务，尤其是在发生灾难的情况下。因此，在这项研究中，我们考虑了是否可以在最佳途径上测量树木，同时彼此发现障碍物。因此，我们将采用一种以高精度自动检测单个树木的方法，并使用无人机（无人驾驶飞机）进行自主驾驶实验。在这里，可以使用一个可用于小区域或室内的小型无人机。在农场（户外）上自动航行了一架小型无人机，并自动计算目标树上的水果。在这里，无人机由编程控制，不包括用户手动操纵。此外，关于水果检测，我们能够使用经典图像分析并行地使用深度学习和方法来实验方法，从而创造了一种更准确的水果检测技术。