3D Material Distribution Mapping by Acoustic Camera in Extreme Underwater Environment

极端水下环境下声学相机的 3D 材料分布测绘

• 批准号: 20K19898
• 负责人: 池 勇勲
• 金额: $ 2.66万
• 依托单位: Japan Advanced Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K19898/
• 关键词: 音響カメラ; 水中ロボット; SLAM; 極限環境; マテリアル分布

本研究課題は，福島第一原子力発電所の原子炉のような人間が直接入れない極限水中環境において，無人水中ロボットに搭載した音響カメラを使用し，物質・材料に関する環境情報を反映したマップ生成システムの構築を目的とする．本研究では，環境中に存在するマテリアルの特性を音響カメラの計測情報より分析し，環境のマッピング処理における環境特徴量として活用することで，環境中に存在するマテリアルの情報を含む3次元形状情報（水中マテリアル分布マップ）を復元するするアプローチで検討を進めている．2021年度に確立した，音響画像におけるYOLO（you only look once）を利用した複雑な物体を認識する手法及びその特徴量を記述する方法の確立に続き，2022年度はそれらのYOLOで認識した特徴量を利用し，3次元点群のレジストレーション手法であるICP（iterative cloest point）に基づく水中環境における3次元マップを生成する高精度SLAMを実現した．さらに，機械学習により撮影表面の性質を分類するシステムを構築した．具体的には，教師あり機械学習を活用した画像認識技術であるセマンティックセグメンテーションを改良し，水中環境における水中音響カメラを用いた船底の劣化検出を実現した．具体的なセマンティックセグメンテーションの方法はSegformerを利用し，学習データとしては2020年度に開発したシミュレータを利用した．

は this research subject, the fukushima atomic force 発 の atoms by electric furnace の よ う な human が directly into the れ な い limit water environment に お い て, no water ロ ボ ッ ト に carry し た sound カ メ ラ を し use, material, material に masato す る environment intelligence を reflect し た マ ッ プ generated シ ス テ ム の build を purpose と す る. This study で は, environment に す る マ テ リ ア ル の features を sound カ メ ラ の measuring intelligence よ し り analysis, environmental の マ ッ ピ ン グ 処 Richard に お け る environment 徴 quantity と し て use す る こ と で, Environment exist に す る マ テ リ ア ル の intelligence を containing む three dimensional shape intelligence (water マ テ リ ア ル distribution マ ッ プ) を recovery す る す る ア プ ロ ー チ で beg を 検 into め て い る. 2021 annual に establish し た, sound portrait に お け る YOLO (you only look once) を using し た complex 雑 な object を know す る technique and び そ の special account amount 徴 を す の る method established に 続 き, 2022 annual は そ れ ら の YOLO で know し た を use し 徴 quantity, Three dimensional point group の レ ジ ス ト レ ー シ ョ ン gimmick で あ る ICP (iterative cloest point) に base づ く water environment に お け る 3 dimensional マ ッ プ を generated す る high-precision SLAM を be presently し た. Youdaoplaceholder0, machine learning によ によ, pinch, surface <s:1>, properties を, classification するシステムを, construction た た. Specific に は, teachers あ り mechanical learning を transfer し た portrait known technology で あ る セ マ ン テ ィ ッ ク セ グ メ ン テ ー シ ョ ン し を improvement, the water environment に お け る water acoustics カ メ ラ を with い た bottom の degradation 検 out を be presently し た. Specific な セ マ ン テ ィ ッ ク セ グ メ ン テ ー シ ョ ン の way は Segformer を using し, learning デ ー タ と し て は 2020 annual に open 発 し た シ ミ ュ レ ー タ を using し た.

项目成果

Learning Pseudo Front Depth for 2D Forward-Looking Sonar-based Multi-view Stereo

基于 2D 前视声纳的多视图立体学习伪前方深度

• 发表时间: 2023
• 作者: Yusheng Wang;Yonghoon Ji;Hiroshi Tsuchiya;Hajime Asama and Atsushi Yamashita
• 通讯作者: Hajime Asama and Atsushi Yamashita

CycleGAN-based realistic image dataset generation for forward-looking sonar

• DOI: 10.1080/01691864.2021.1873845
• 发表时间: 2021-01-20
• 期刊: ADVANCED ROBOTICS
• 影响因子: 2
• 作者: Liu, Dingyu;Wang, Yusheng;Asama, Hajime
• 通讯作者: Asama, Hajime

Development of Image Simulator for Forward-looking Sonar Using 3D Rendering

使用 3D 渲染的前视声纳图像模拟器的开发

• 发表时间: 2021
• 作者: Liu Dingyu;Wang Yusheng;Ji Yonghoon;Tsuchiya Hiroshi;Yamashita Atsushi;Asama Hajime
• 通讯作者: Asama Hajime

Simulator-aided Edge-based Acoustic Camera Pose Estimation

模拟器辅助的基于边缘的声学相机姿态估计

• 发表时间: 2022
• 作者: Yusheng Wang;Yonghoon Ji;Hiroshi Tsuchiya;Hajime Asama and Atsushi Yamashita;竹崎奏詠，辻勲平，ハザリカ・へマンタ，浅井光輝;Yusheng Wang
• 通讯作者: Yusheng Wang

ACMarker: Acoustic Camera-Based Fiducial Marker System in Underwater Environment

ACMarker：水下环境中基于声学相机的基准标记系统

• DOI: 10.1109/lra.2020.3005375
• 发表时间: 2020
• 期刊: IEEE Robotics and Automation Letters
• 影响因子: 5.2
• 作者: Wang Yusheng;Ji Yonghoon;Liu Dingyu;Tamura Yusuke;Tsuchiya Hiroshi;Yamashita Atsushi;Asama Hajime
• 通讯作者: Asama Hajime