融合現実を実現する新しい3次元表示技術とその応用に関する研究

本研究は、実空間に実在する実物体とその前方に空中表示した像との間で奥行融合を生じさせ、実物体の形状や位置を現実とは異なった形で人間に知覚させることができる3次元表示の実現を目的としており、初年度の2022年度は本研究の基盤となる下記2項目を実施し、下記の成果を得た。（1）融合像の奥行位置の輝度比依存性：本研究では光学透過型のヘッドマウントディスプレイ（HMD）により実物体の前方に空中像を表示する。奥行融合はスクリーンに表示された画像間で生じる現象であるが、本研究では実物体とHMDに表示された空中像を奥行融合により1つの像として表示する。まず、単純なテストパタンを用いて、これを紙に印刷したものを実物体とし、またこのパタンをHMDで印刷パタンの前方に空中像として表示することで奥行融合が生じ両者が一つのパタンとして知覚されることが確認できた。また、融合像の奥行き位置は実物体と空中像の輝度比に依存し、これより従来の奥行融合と同様に本方法においても空中の任意の位置に融合像を表示できることを明らかにした。（２）次元変換の実現性確認：本研究における最大の目的は絵画や写真など平面上に描かれた2次元像をHMDで表示する空中像と融合させてそのコンテンツが表現する３次元像として観察者に知覚させることである。この可能性を確認するため、3DCGで3D物体の3Dモデルを作成し、その画像を紙に印刷して2次元の実物体とし、さらに3Dモデルから3D物体のデプスマップを得て、デプスマップと3D物体の２次元画像を積算して空中像を生成した。デプスマップと積算により空中像の各座標の輝度はその座標の奥行位置に依存するため、奥行融合により融合された像は3Dモデルが有する３次元形状として知覚されると期待される。主観評価の結果から期待通り２次元の絵画中の物体が絵画から飛び出して３次元物体として知覚されることが確認できた。

本研究は、実空間に実在する実物体とその前方に空中表示した像との間で奥行融合を生じさせ、実物体の形状や位置を現実とは異なった形で人間に知覚させることができる3次元表示の実現を目的としており、初年度の2022年度は本研究の基盤となる下記2項目を実施し、下記の成果を得た。（1）融合像の奥行位置の輝度比依存性：本研究では光学透過型のヘッドマウントディスプレイ（HMD）により実物体の前方に空中像を表示する。奥行融合はスクリーンに表示された画像間で生じる現象であるが、本研究では実物体とHMDに表示された空中像を奥行融合により1つの像として表示する。まず、単純なテストパタンを用いて、これを紙に印刷したものを実物体とし、またこのパタンをHMDで印刷パタンの前方に空中像として表示することで奥行融合が生じ両者が一つのパタンとして知覚されることが確認できた。また、融合像の奥行き位置は実物体と空中像の輝度比に依存し、これより従来の奥行融合と同様に本方法においても空中の任意の位置に融合像を表示できることを明らかにした。（２）次元変換の実現性確認：本研究における最大の目的は絵画や写真など平面上に描かれた2次元像をHMDで表示する空中像と融合させてそのコンテンツが表現する３次元像として観察者に知覚させることである。この可能性を確認するため、3DCGで3D物体の3Dモデルを作成し、その画像を紙に印刷して2次元の実物体とし、さらに3Dモデルから3D物体のデプスマップを得て、デプスマップと3D物体の２次元画像を積算して空中像を生成した。デプスマップと積算により空中像の各座標の輝度はその座標の奥行位置に依存するため、奥行融合により融合された像は3Dモデルが有する３次元形状として知覚されると期待される。主観評価の結果から期待通り２次元の絵画中の物体が絵画から飛び出して３次元物体として知覚されることが確認できた。