パターン類似度に基づくエネルギー最小化による多次元画像データの欠損修復

基于模式相似度的能量最小化多维图像数据缺失修复

• 批准号: 09J08045
• 负责人: 河合 紀彦
• 金额: $ 0.9万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09J08045/
• 关键词: 欠損修復; Completion; Inpainting; 三次元モデル; 全方位動画像; パターン類似度; 形状とテクスチャの相関; エネルギー最小化; 欠損補間; Surface Completion; 3D Inpainting

1、実環境を計測した際の、遮蔽等による計測漏れによって発生する三次元モデルにおける欠損領域の形状とテクスチャを同時に修復する手法の開発を行った。具体的には、昨年度に作成した形状の類似度評価に加えて、三次元モデルのテクスチャの類似度評価法を設計し、それらの重み付き総和を用いることで、多くの現実物体に見られる形状とテクスチャの相関を考慮した、形状のためとテクスチャのための異なる二つのエネルギー関数を定義した。次に、定義したエネルギー関数を交互に最小化することで、欠損領域の形状とテクスチャを同時に最適に修復する手法を開発した。レーザレンジファインダを用いて実物体を計測して作成した小物体の三次元モデル及び、カリフォルニア大学バークレー校の研究室において計測により作成された建物の屋内の三次元モデルに対して欠損修復を行い、主観的に評価することで、提案手法が形状とテクスチャを同時に違和感なく修復できることを確認した。2、静止画像の不要な領域を取り除き、欠損領域を自動的に補間する画像修復手法の開発を行った。具体的には、明度と幾何学的な変換を許容したエネルギー関数を定義し、画像内で近接するパターン間の相対的な位置関係を考慮することで効率的にエネルギーを最小化し、欠損を修復する手法を開発した。3、静止画像に対する欠損修復手法を応用することで死角のない全方動画像の生成手法の開発を行った。具体的には、Structure-from-motion法を用いることで、死角領域周辺における撮影対象の形状とカメラの運動を推定し、テクスチャの変形補正及び、修復の事例として用いる画像領域の限定を行うことで、死角領域の修復を行う手法を開発した。移動しながら全方位カメラにより撮影された実シーンに対して死角のない全方位動画像を生成することで、提案手法の有効性を確認した。

1。我们开发了一种方法，可以同时修复三维模型中缺失区域的形状和纹理，这些模型在测量实际环境时由于屏蔽而造成的测量损失。具体而言，除了去年创建的形状相似性评估外，我们还为三维模型中的纹理设计了一种相似性评估方法，并且通过使用这些加权总和，我们为形状和纹理定义了两个不同的能量功能，考虑到了许多实际物体中形状和纹理之间的相关性。接下来，我们开发了一种方法，通过交替最大程度地减少定义的能量函数来同时最佳地修复缺失区域的形状和纹理。通过对使用激光测距仪测量实际对象以及建筑物的三维模型进行的三维小物体模型进行缺陷维修，该模型是在加利福尼亚大学伯克利大学实验室中测量的，并主观评估了它们，我们证实了所建议的方法可以同时维修形状和纹理构成形状和纹理构成。 2。我们开发了一种图像维修技术，该技术可以消除不必要的图像区域，并自动插入缺失区域。具体而言，我们开发了一种方法来通过定义允许亮度和几何变换的能量函数来有效地最大程度地减少能量和修复缺陷，并考虑了图像中相邻模式之间的相对位置关系。 3。通过将缺陷维修技术应用于静止图像，我们开发了一种生成无盲点图像的方法。具体而言，我们开发了一种通过使用结构上移动方法来修复盲点区域的方法，以估计目标照片的形状和盲点区域周围的摄像头移动，从而纠正纹理变形并限制用作维修案例的图像区域。该方法的有效性通过生成无盲点的全向视频来确认，在移动时由全向相机捕获的实际场景。

项目成果

パノラマビューシステムのためのプライバシー保護を考慮した全天球画像生成

全景视图系统考虑隐私保护的全方位图像生成

• 发表时间: 2010
• 作者: S.Soga;H.Shirai;M.Kobori;N.Hirayama;堀磨伊也
• 通讯作者: 堀磨伊也

局所形状の類似度を用いたエネルギー最小化による三次元欠損修復

利用局部形状相似性通过能量最小化进行三维缺陷修复

• 发表时间: 2010
• 期刊: 日本バーチャルリアリティ学会論文誌 Vol.15, No.1
• 作者: 河合紀彦;佐藤智和;横矢直和
• 通讯作者: 横矢直和

人が消える地下街パノラマビューアの開発

开发人们消失的地下购物全景观看器

• 发表时间: 2010
• 作者: Katsuhiko Matsumoto;Yuta Shinohara;Kyoko Numajiri;Shinya Ishioroshi;Takashi Morii;Yoshio Saito;Isao Saito;塩田拓也;新井イスマイル
• 通讯作者: 新井イスマイル

テクスチャの明度・幾何変換と類似パターン位置を考慮したエネルギー最小化による画像修復

考虑纹理亮度/几何变换和相似图案位置，使用能量最小化进行图像恢复

• 发表时间: 2011
• 作者: Toshinobu Kasai;Kazuo Nagano;Riichiro Mizoguchi;宮本龍
• 通讯作者: 宮本龍

テクスチャの変換と類似パターン位置を考慮した画像修復

考虑纹理转换和相似图案位置的图像恢复

• 发表时间: 2010
• 作者: 河原英紀;宮森翔子;浅香佳希;西村竜一;入野俊夫;宮本龍
• 通讯作者: 宮本龍