損傷の位置情報と専門知を連携させた機械学習による橋梁撮影画像からの自動診断手法

结合损伤位置信息和专业知识的基于机器学习的桥梁图像自动诊断方法

• 批准号: 22KJ0947
• 负责人: 山根 達郎
• 金额: $ 1.09万
• 依托单位: Tokuyama College of Technology (2023)The University of Tokyo (2022)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0947/
• 关键词: Deep Learning; 画像処理; 橋梁点検; SfM; 3次元モデル

橋梁の点検・診断の効率化および高精度化のため，機械学習技術の一種であるDeep Learningを活用した橋梁撮影画像の解析技術の研究に期待が集まっている．当該年度は，当初目標としていた橋梁全体系での損傷の位置情報の把握，損傷情報の3次元モデル上での統合，診断用フレームワークの構築の取り組みを進める計画であり，全て順調に研究開発を進めることができた．特に損傷の位置情報の把握およびその3次元モデル上での統合については良い成果が得られており，画像の位置情報を同定する技術であるStructure from Motion（SfM）およびおよびDeep LearningによるSemantic Segmentation（画素単位での情報抽出）を活用して，3次元モデル上に損傷をマッピングする手法を提案した．この成果はComputer-Aided Civil and Infrastructure Engineeringに投稿し，すでに採択されている．また，診断用フレームワークの構築については，画像とその画像に関する質問を入力として，正しい答えを導き出すタスクであるVisual Question Answering（VQA）およびSfMを活用したフレームワークを構築した．この結果についても，既に論文はStructure and Infrastructure Engineeringに投稿されており，現在査読を受けている段階である．なお，損傷情報の3次元モデル上での統合に関しては，現在は3Dマッピングのみを行っているため，現在，反映した情報にBIMデータとして扱うための属性を付与するための検討を進めている．

Bridge の 検 · diagnosis の sharper rate change お よ び precision turn の た め, machine Learning technology の a で あ る Deep Learning を use し た bridge pinch of shadow portrait の の parsing technology research に expect が set ま っ て い る. When the annual は that target と し て い た bridge whole system で の の damage location intelligence の grasp, damage intelligence の 3 dimensional モ デ ル on で の integration, diagnosis with フ レ ー ム ワ ー ク の build の group take り み を into め る project で あ り, whole て suitable adjustable に research open 発 を into め る こ と が で き た. By using に damage <s:1> location intelligence <e:1> to grasp およびそ <e:1> in three dimensions of モデ で, integrating で, に が, て, て, and good が results が, we obtain られてお に. Portrait の location intelligence を with fixed す る technology で あ る Structure from Motion (SfM) お よ び お よ び Deep Learning に よ る Semantic Segmentation (pixels 単 で の information extraction) を use し て, Three-dimensional モデ ッピ に injury を ッピ ッピ グする manipulation を proposal た た. <s:1> the results of <s:1> Computer-Aided Civil and Infrastructure Engineeringに submission に, すでに accepted 択されて る る. ま た, diagnosis with フ レ ー ム ワ ー ク の build に つ い て は, portrait と そ の portrait に masato す る questioned を と into force し て, are し い answer え を guide き out す タ ス ク で あ る Visual Question Answering (VQA) お よ び SfM を use し た フ レ ー ム ワ ー ク を build し た. こ の results に つ い て も, both に paper は Structure and Infrastructure Engineering contribute に さ れ て お り, check now 読 を by け て い る Duan Jie で あ る. な お, damage intelligence の 3 yuan モ デ ル on で の integration に masato し て は, now は 3 d マ ッ ピ ン グ の み を line っ て い る た め, now reflect し た intelligence に BIM デ ー タ と し て Cha う た め の attribute を give す る た め の beg を 検 into め て い る.

项目成果

Recording of bridge damage areas by 3D integration of multiple images and reduction of the variability in detected results

• DOI: 10.1111/mice.12971
• 发表时间: 2023-01
• 期刊: Computer‐Aided Civil and Infrastructure Engineering
• 作者: T. Yamane;Pang-jo Chun;J. Dang;R. Honda