幾何学的・光学的整合性を考慮した拡張現実感に関する研究

考虑几何和光学一致性的增强现实研究

• 批准号: 15700099
• 负责人: 神原 誠之
• 金额: $ 1.92万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700099/
• 关键词: 拡張現実感; 幾何学的整合性; 光学的整合性; 三次元マーカ; 光源環境マップ; ステレオ視; 実時間形状推定; 3次元マーカ

本研究では、カメラで撮影した映像に仮想物体を合成するビデオシースルー型拡張現実感において、幾何学的整合性と光学的整合性を同時に解決するためのマーカとして、3次元マーカを提案した。3次元マーカとは、幾何学的整合性の解決のための正方マーカと、光学的整合性を解決するための鏡面の球体を組み合わせたマーカである。本年度は、単眼カメラで撮影された映像に対し、幾何学的・光学的整合性を解決する手法の開発を行った。3次元マーカを現実環境に配置し、観測者の視点付近に取り付けられた単眼カメラにより撮影した映像を計算機に入力し、幾何学的・光学的整合性の解決を図った。さらにステレオカメラを用いて実空間の3次元形状を推定することで、動的な実環境に対応可能な拡張現実感環境の構築を試みた。開発を行った技術を以下に述べる。1.現実環境と仮想環境の3次元位置合わせ処理(幾何学的整合性):現実環境と仮想環境の3次元位置合わせは観測者の視点位置の推定問題と等価である。申請者がこれまでに提案してきた手法を用いて視点位置推定を行う。具体的には、形状が既知である2次元マーカを、ステレオカメラで撮影された映像から画像処理により検出し、マーカと観測者の視点位置の3次元位置関係を推定する。2.現実環境における光源環境の推定処理(光学的整合性):本手法では、現実環境に配置した鏡面球体の映り込み領域を、撮影された映像から抽出し、光源環境推定を行う。前述の処理(A)により、映像内のマーカの位置を検出することにより、3次元マーカの鏡面球体が撮影されている領域の映像内における位置が推定できる。次に、鏡面物体に映り込んだ映像から現実環境の光源環境の推定を行う。抽出された領域内で輝度値の大きい画素に光源が映り込んでいると考えられるため,各画素の輝度値がその方向に存在する光源の強さであるとする.各画素の球面上における法線と視線方向から各画素に映り込でいる光源の方向を推定することで、光源環境マップの作成を行った.なお,光源の色は,画像におけるRGBの輝度値を利用することで推定する。3.ステレオカメラを用いた実環境の実時間3次元形状推定ステレオカメラを用いて撮影した映像を用いて、実空間の3次元形状を実時間で推定することで、動的な実環境に対応した仮想物体の影付けが可能な拡張現実感環境の構築を行った。本研究では、実環境中の最も強い光源1つが生成する影に関して、動的な実環境において正確な影が生成可能であることを確認した。

In this paper, we propose a new method to solve the problem of geometric integration and optical integration simultaneously. 3 dimensional, geometric integration of the solution of the square, optical integration of the solution of the mirror This year, the development of methods for image analysis, geometric and optical integration has been carried out. 3-D environment configuration, observer's viewpoint, image acquisition, computer integration, geometry, and optical integration In this paper, we try to estimate the three-dimensional shape of the space, the dynamic environment and the possible environment. The development of technology is described below. 1. The 3D position of the present environment and the 3D position of the desired environment are processed (geometric integration): the 3D position of the present environment and the 3D position of the desired environment are combined to estimate the viewpoint position of the observer. The applicant proposes a method for estimating the viewpoint position. The specific shape and shape are known to be two-dimensional and three-dimensional positional relationships between the observer's viewpoint position and the image processing are estimated. 2. Estimation of light source environment (optical integration): this method is used to estimate the light source environment by arranging the mirror sphere, extracting the image and estimating the light source environment. In the above processing (A), the position of the mirror in the image is estimated, and the position of the mirror in the image of the three-dimensional mirror sphere is estimated. Second, mirror object reflection, reflection, light source environment estimation The luminance value of each pixel in the extraction area is different from the intensity of the light source in the direction of the luminance value of each pixel. The direction of the normal line on the spherical surface of each pixel is estimated, and the direction of the light source environment is determined. The color of the light source, the image, the RGB luminance value, the use of this estimation. 3. Use of space to estimate the shape of a three-dimensional environment in time, use of space to estimate the shape of a three-dimensional shape This study confirms that the strongest light source in the environment can generate shadow.

项目成果

現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感

增强现实，可以通过实时估计真实环境的光照条件和深度来表达虚拟物体的阴影

• 发表时间: 2004
• 期刊: 画像の認識・理解シンポジウム(MIRU2004)講演論文集 Vol.II
• 作者: S.Vallerand;神原 誠之
• 通讯作者: 神原 誠之

世界の光源環境を考慮した拡張現実感-ビジョンベース拡張現実感における幾何学的・光学的整合性の解決-

考虑世界光源环境的增强现实 - 解决基于视觉的增强现实中的几何和光学一致性 -

• 发表时间: 2003
• 期刊: 画像ラボ Vol.14, No.10
• 作者: S.Vallerand;神原 誠之;神原 誠之;神原 誠之;神原 誠之
• 通讯作者: 神原 誠之

Three point based registration for binocular augmented reality

基于三点的双目增强现实配准

• 发表时间: 2004
• 期刊: IEICE Trans.on Information and Systems Vol.E87-D, No.6
• 作者: S.Vallerand

仮想物体のキャストシャドウが表現可能なビジョンベース拡張現実感

基于视觉的增强现实，可以表达虚拟物体的投射阴影

• 发表时间: 2003
• 期刊: 情報科学技術フォーラム(FIT)一般講演論文集 Vol.3, No.I-042(CD-ROM論文集)
• 作者: S.Vallerand;神原 誠之;神原 誠之;神原 誠之
• 通讯作者: 神原 誠之

神原 誠之: "仮想物体のキャストシャドウが表現可能なビジョンベース拡張現実感"情報科学技術フォーラム(FIT)一般講演論文集. Vol.3, No.I-042. (2003)

Masayuki Kambara：“基于视觉的增强现实，可以表达虚拟物体的投射阴影”信息科学与技术论坛 (FIT) 普通讲座论文集，第 3 卷，第 I-042 期。