損傷の位置情報と専門知を連携させた機械学習による橋梁撮影画像からの自動診断手法

橋梁の点検・診断の効率化および高精度化のため，機械学習技術の一種であるDeep Learningを活用した橋梁撮影画像の解析技術の研究に期待が集まっている．当該年度は，当初目標としていた橋梁全体系での損傷の位置情報の把握，損傷情報の3次元モデル上での統合，診断用フレームワークの構築の取り組みを進める計画であり，全て順調に研究開発を進めることができた．特に損傷の位置情報の把握およびその3次元モデル上での統合については良い成果が得られており，画像の位置情報を同定する技術であるStructure from Motion（SfM）およびおよびDeep LearningによるSemantic Segmentation（画素単位での情報抽出）を活用して，3次元モデル上に損傷をマッピングする手法を提案した．この成果はComputer-Aided Civil and Infrastructure Engineeringに投稿し，すでに採択されている．また，診断用フレームワークの構築については，画像とその画像に関する質問を入力として，正しい答えを導き出すタスクであるVisual Question Answering（VQA）およびSfMを活用したフレームワークを構築した．この結果についても，既に論文はStructure and Infrastructure Engineeringに投稿されており，現在査読を受けている段階である．なお，損傷情報の3次元モデル上での統合に関しては，現在は3Dマッピングのみを行っているため，現在，反映した情報にBIMデータとして扱うための属性を付与するための検討を進めている．

橋梁の点検・診断の効率化および高精度化のため，機械学習技術の一種であるDeep Learningを活用した橋梁撮影画像の解析技術の研究に期待が集まっている．当該年度は，当初目標としていた橋梁全体系での損傷の位置情報の把握，損傷情報の3次元モデル上での統合，診断用フレームワークの構築の取り組みを進める計画であり，全て順調に研究開発を進めることができた．特に損傷の位置情報の把握およびその3次元モデル上での統合については良い成果が得られており，画像の位置情報を同定する技術であるStructure from Motion（SfM）およびおよびDeep LearningによるSemantic Segmentation（画素単位での情報抽出）を活用して，3次元モデル上に損傷をマッピングする手法を提案した．この成果はComputer-Aided Civil and Infrastructure Engineeringに投稿し，すでに採択されている．また，診断用フレームワークの構築については，画像とその画像に関する質問を入力として，正しい答えを導き出すタスクであるVisual Question Answering（VQA）およびSfMを活用したフレームワークを構築した．この結果についても，既に論文はStructure and Infrastructure Engineeringに投稿されており，現在査読を受けている段階である．なお，損傷情報の3次元モデル上での統合に関しては，現在は3Dマッピングのみを行っているため，現在，反映した情報にBIMデータとして扱うための属性を付与するための検討を進めている．