3次元現況反映型モデル生成の高品質・高効率化を可能とする予測型SfM技術の開発

开发预测 SfM 技术，实现高质量、高效率的 3D 当前状态模型生成

• 批准号: 20J10867
• 负责人: 森谷 亮太
• 金额: $ 0.58万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J10867/
• 关键词: Structure from Motion; Multi-View Stereo; 写真測量; 3次元モデル; As-is モデル; 撮影計画; スマートフォン; 品質予測

高度経済成長期に建設された我が国の橋梁は，長寿命化に向けた戦略的な維持管理作業が急務となっている．その解決のため，画像から3次元現況反映型(3D as-is)モデルを自動生成できる，SfM-MVS技術が広く活用されている．しかし，どの位置から画像を撮影すれば高品質な3D as-isモデルが生成可能か，事前推定が困難という問題がある．本研究はその解決のため，橋梁などのインフラ構造物を対象とし，変状の位置把握に必要な精度を満足する3D as-isモデルを効率的に生成するために，ユーザがどの位置から何枚画像を撮影すれば最適な撮影なのかという撮影戦略を，計算機支援により計画できる予測型SfM技術の開発を目的とした．令和2年度は，開発済みである品質予測技術と，次に画像追加すべき低品質領域の抽出手法の研究成果を基に，選択した低品質領域を集中的に補完可能な3次元空間を特定し，短時間で追加撮影用のカメラ位置を推定可能な手法を開発した．従来手法ではカメラ位置推定に数時間となる場合があるが，本手法は数秒で推定可能である．また，上記の追加撮影位置推定技術とスマートフォン・クラウドを用いて，次に品質改善すべき領域を，現場作業者に教示可能な撮影計画指示システムを開発し，実際の工事現場で実用性を評価した．その結果，従来プロセスに比べ1/3の処理時間で高品質なモデルが生成可能であることが示唆された．以上の研究成果を国際学会で2件，国内学会で3件の発表を行った．本研究は，計算機により3D as-isモデルの形状品質を改善するカメラ位置を撮影者に示唆でき，ユーザの熟練度に関係なく，高品質な3D as-isモデルを効率的に生成することが可能となるため，国交省が推進するi-Constructionの基盤技術として大きく貢献すると思われ，少子高齢化による労働者不足を解決しうる点で重要になると考えられる．

The construction of bridges in China during the period of high growth and the maintenance and management of bridges in the direction of long life are urgent. SfM-MVS technology is widely used in the field of automatic generation. High quality 3D as-is can be generated, but it is difficult to estimate in advance. This study aims to solve the problem of bridge structure imaging, shape location control, necessary accuracy, 3D as-is imaging efficiency generation, location control, image extraction, optimal image extraction, image extraction strategy, computer support, and development of predictive SfM technology. In 2010 and 2012, we developed quality prediction technology, secondary image addition, extraction method of low-quality areas, based on research results, selection of low-quality areas, concentration of compensation, possible three-dimensional space, specific, short-term additional image location estimation method. This technique is used to estimate the number of seconds. In addition, the above mentioned additional imaging position estimation technology is used in the field of quality improvement, and the field teaching may be used in the evaluation of the actual construction site. As a result, the processing time of the product is 1/3 of that of the original product. The above research achievements include 2 international institutes and 3 domestic institutes. This research demonstrates that the shape and quality of 3D as-is monitors in computers can be improved and the location of the monitors can be affected. Users 'proficiency is related to the possibility of efficiently generating high-quality 3D as-is monitors. The Ministry of International Affairs has made great contributions to the advancement of i-Construction's base technology, and it is important to solve the problem of shortage of workers due to the increase in the number of children.

项目成果

PLAUSIBLE RECONSTRUCTION OF AN APPROXIMATED MESH MODEL FOR NEXT-BEST VIEW PLANNING OF SFM-MVS

SFM-MVS 次佳视图规划的近似网格模型的合理重构

• 发表时间: 2020
• 作者: R. Moritani;S. Kanai;H. Date;Y. Niina and R. Honma
• 通讯作者: Y. Niina and R. Honma

SfM-MVSによる効率的で高品質なas-isモデル生成のための最適撮影計画支援システムの開発（第7報）－単一低品質領域に対する複数追加撮影用カメラポーズの推定－

使用 SfM-MVS 开发最佳拍摄计划支持系统，以实现高效、高质量的原样模型生成（第七次报告） - 估计单个低质量区域的多个附加镜头的相机姿势 -

• 发表时间: 2020
• 作者: R. Moritani;S. Kanai;H. Date;Y. Niina and R. Honma;森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平
• 通讯作者: 森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平

SfM-MVSによる効率的で高品質なas-isモデル生成のための最適撮影計画支援システムの開発（第8報）－追加撮影終了条件の検討－

使用 SfM-MVS 开发最佳成像规划支持系统，以实现高效、高质量的原样模型生成（第 8 次报告） - 检查附加成像终止条件 -

• 发表时间: 2021
• 作者: 高瀬寛;川﨑彬斗;アサバナント ワリット;福井浩介;遠藤護;古澤明;森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平
• 通讯作者: 森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平

Streamlining Photogrammetry-based 3D Modeling of Construction Sites using a Smartphone, Cloud Service and Best-view Guidance

使用智能手机、云服务和最佳视图指导简化基于摄影测量的建筑工地 3D 建模

• 发表时间: 2020
• 作者: R. Moritani;S. Kanai;K. Akutsu;K. Suda;A. Elshafey;N. Urushidate and M. Nishikawa
• 通讯作者: N. Urushidate and M. Nishikawa

SfM-MVSによる効率的で高品質なas-isモデル生成のための最適撮影計画支援システムの開発（第6報）－低品質領域抽出結果に基づく追加撮影用カメラ位置の推定－

使用 SfM-MVS 开发最佳成像规划支持系统，以实现高效、高质量的原样模型生成（第六次报告） - 基于低质量区域提取结果估计附加成像的相机位置 -

• 发表时间: 2020
• 作者: R. Moritani;S. Kanai;H. Date;Y. Niina and R. Honma;森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平;森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平
• 通讯作者: 森谷亮太，金井理，伊達宏昭，新名恭仁，本間亮平