画像情報と音響情報の統合による海域や年次変化を考慮した海底底質の高精度推定

環境保全や水産業支援において、海中生物の生態を解明する上で、環境情報、特に海底の底質情報が重要な意味を持つ。広域での底質計測にはカメラの利用が有効であるが、同じ底質であっても異なる海域・年度ではその視覚特徴が大きく異なり、共通の枠組みでの底質推定は困難である。本研究では、広く知られている打音検査法にヒントを得て、海底撮影装置と海底面によって発生する滑り音を援用し、画像情報と音情報の統合により底質を推定するシステムを開発する。視覚情報と音響情報を相補的に統合する仕組みの実現を中心課題とし、撮影姿勢の推定による「信頼できない音区間」の除外等により、底質の特徴を適切に反映した音情報を抽出することで、底質推定の精度向上を図る。本年度は、当初は、撮影装置の姿勢推定機構の実現を予定していたが、新型コロナウィルス感染症拡大等の影響により、現場の実環境での検証・考察が十分にはできなかったことを受けて、令和5年度に予定していた基本アルゴリズムの設計と構築を進めた。当該研究では、画像情報と音響情報の相補的な統合を目指しているが、本年度は特に音響情報に注目し、撮影時に取得される撮影機材と海底部との接触音から、海底の底質を推定する仕組みを検討した。具体的には、時間的に連続する接触音のスペクトログラムを生成し、得られたスペクトログラムに砂場・礫場・バラス場の各ラベルを付与した底質・スペクトログラムデータセットを構築した。作成したデータセットを利用し、深層学習技術を用いることで、音響情報に基づいた底質判別の仕組みを実現した。

環境保全や水産業支援において、海中生物の生態を解明する上で、環境情報、特に海底の底質情報が重要な意味を持つ。広域での底質計測にはカメラの利用が有効であるが、同じ底質であっても異なる海域・年度ではその視覚特徴が大きく異なり、共通の枠組みでの底質推定は困難である。本研究では、広く知られている打音検査法にヒントを得て、海底撮影装置と海底面によって発生する滑り音を援用し、画像情報と音情報の統合により底質を推定するシステムを開発する。視覚情報と音響情報を相補的に統合する仕組みの実現を中心課題とし、撮影姿勢の推定による「信頼できない音区間」の除外等により、底質の特徴を適切に反映した音情報を抽出することで、底質推定の精度向上を図る。本年度は、当初は、撮影装置の姿勢推定機構の実現を予定していたが、新型コロナウィルス感染症拡大等の影響により、現場の実環境での検証・考察が十分にはできなかったことを受けて、令和5年度に予定していた基本アルゴリズムの設計と構築を進めた。当該研究では、画像情報と音響情報の相補的な統合を目指しているが、本年度は特に音響情報に注目し、撮影時に取得される撮影機材と海底部との接触音から、海底の底質を推定する仕組みを検討した。具体的には、時間的に連続する接触音のスペクトログラムを生成し、得られたスペクトログラムに砂場・礫場・バラス場の各ラベルを付与した底質・スペクトログラムデータセットを構築した。作成したデータセットを利用し、深層学習技術を用いることで、音響情報に基づいた底質判別の仕組みを実現した。