パターン類似度に基づくエネルギー最小化による多次元画像データの欠損修復

基于模式相似度的能量最小化多维图像数据缺失修复

• 批准号: 09J08045
• 负责人: 河合 紀彦
• 金额: $ 0.9万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09J08045/
• 关键词: 欠損修復; Completion; Inpainting; 三次元モデル; 全方位動画像; パターン類似度; 形状とテクスチャの相関; エネルギー最小化; 欠損補間; Surface Completion; 3D Inpainting

1、実環境を計測した際の、遮蔽等による計測漏れによって発生する三次元モデルにおける欠損領域の形状とテクスチャを同時に修復する手法の開発を行った。具体的には、昨年度に作成した形状の類似度評価に加えて、三次元モデルのテクスチャの類似度評価法を設計し、それらの重み付き総和を用いることで、多くの現実物体に見られる形状とテクスチャの相関を考慮した、形状のためとテクスチャのための異なる二つのエネルギー関数を定義した。次に、定義したエネルギー関数を交互に最小化することで、欠損領域の形状とテクスチャを同時に最適に修復する手法を開発した。レーザレンジファインダを用いて実物体を計測して作成した小物体の三次元モデル及び、カリフォルニア大学バークレー校の研究室において計測により作成された建物の屋内の三次元モデルに対して欠損修復を行い、主観的に評価することで、提案手法が形状とテクスチャを同時に違和感なく修復できることを確認した。2、静止画像の不要な領域を取り除き、欠損領域を自動的に補間する画像修復手法の開発を行った。具体的には、明度と幾何学的な変換を許容したエネルギー関数を定義し、画像内で近接するパターン間の相対的な位置関係を考慮することで効率的にエネルギーを最小化し、欠損を修復する手法を開発した。3、静止画像に対する欠損修復手法を応用することで死角のない全方動画像の生成手法の開発を行った。具体的には、Structure-from-motion法を用いることで、死角領域周辺における撮影対象の形状とカメラの運動を推定し、テクスチャの変形補正及び、修復の事例として用いる画像領域の限定を行うことで、死角領域の修復を行う手法を開発した。移動しながら全方位カメラにより撮影された実シーンに対して死角のない全方位動画像を生成することで、提案手法の有効性を確認した。

1. The development of methods for measuring leakage, shielding, etc. in the environment is carried out in the form of three-dimensional damage areas and simultaneous repair. The similarity evaluation method of three-dimensional objects is designed and used in detail. The correlation of shapes and differences is considered. The relationship between shapes and differences is defined. Secondly, the number of defined physical interactions can be minimized, and methods for optimally repairing the shape and defects of the defect area at the same time are developed. The three-dimensional measurement of small objects in the laboratory of the university is carried out in the laboratory of the university. The three-dimensional measurement of small objects in the laboratory of the university is carried out in the laboratory of the university. The three-dimensional measurement of small objects in the building is carried out in the laboratory of the university. The evaluation of the main damage is carried out in the laboratory. The proposal is carried out in the shape of the object. The simultaneous detection and detection of the damage is confirmed. 2. The development of image restoration method is carried out by removing unnecessary areas of still images and automatically compensating for missing areas. Specific to the brightness and geometry of the relationship between the definition of the relationship between the image, the ratio of the relationship between the minimum, the lack of repair 3. The development of the method of generating full-square animated image is carried out by using the method of repairing the defect of static image. The specific Structure-from-motion method is used to estimate the shape and motion of the image in the dead area, correct the shape and repair the image in the dead area. To confirm the effectiveness of the proposed method, the omni-directional animation image is generated.

项目成果

パノラマビューシステムのためのプライバシー保護を考慮した全天球画像生成

全景视图系统考虑隐私保护的全方位图像生成

• 发表时间: 2010
• 作者: S.Soga;H.Shirai;M.Kobori;N.Hirayama;堀磨伊也
• 通讯作者: 堀磨伊也

局所形状の類似度を用いたエネルギー最小化による三次元欠損修復

利用局部形状相似性通过能量最小化进行三维缺陷修复

• 发表时间: 2010
• 期刊: 日本バーチャルリアリティ学会論文誌 Vol.15, No.1
• 作者: 河合紀彦;佐藤智和;横矢直和
• 通讯作者: 横矢直和

テクスチャの変換と類似パターン位置を考慮した画像修復

考虑纹理转换和相似图案位置的图像恢复

• 发表时间: 2010
• 作者: 河原英紀;宮森翔子;浅香佳希;西村竜一;入野俊夫;宮本龍
• 通讯作者: 宮本龍

テクスチャの明度・幾何変換と類似パターン位置を考慮したエネルギー最小化による画像修復

考虑纹理亮度/几何变换和相似图案位置，使用能量最小化进行图像恢复

• 发表时间: 2011
• 作者: Toshinobu Kasai;Kazuo Nagano;Riichiro Mizoguchi;宮本龍
• 通讯作者: 宮本龍

Pano UMECHIKA : A crowded underground city panorama view system

Pano UMECHIKA：拥挤的地下城市全景系统

• 发表时间: 2010
• 作者: Ismail Arai