Reproducing Visual Appearance by Optical See-Through Head-Mounted Display based on Measurement and Modulation of Light Rays

基于光线测量和调制的光学透视头戴式显示器再现视觉外观

基本信息

批准号：
20J14971
负责人：
廣井裕一
金额：
$ 1.22万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

项目摘要

光学シースルー頭部搭載型ディスプレイ(OST-HMD)において、眼に入る光線を直接計測・変調することにより、現実と視覚的に不可分なバーチャル物体の質感を再現する研究において、今年度は下記の進捗があった。「視覚特性の推定」：前年度成果である「拡散ホログラフィック波面センサ(DWFS)による視力推定手法を統合した網膜走査型OST-HMD」について、拡張現実感(AR)への応用に向けたシステムの小型化およびリアルタイム化を行った。小型化については、視力推定と映像提示の両方をウェアラブル端末上に実装するための構成を提案した。リアルタイム化については、DWFSにより取得する波面画像から、高速に視力を測定するための深層学習モデルを構築した。「幅広い光学特性を再現可能なOST-HMD」；前年度成果である、位相空間光変調器(PSLM)を用いて、連続・曲面のAR物体に対して奥行きブラーを提示する「焦点面光学遮蔽OST-HMD」に関する評価と改良を行った。提案法が再現できる奥行きブラーとシミュレーションとの空間周波数特性の比較を行い、結果は光学分野の主要国際論文誌であるOptics Expressに採録された。また、「視覚特性の推定」で計測したユーザの視力を補償するパターンを位相画像に畳み込み、バーチャル物体の奥行き表現を改善しながら現実の見え方を同時に補償する手法の検討を行った。本研究は、眼光学的計測に基づく眼のピント推定と、光線の直接変調に基づく高コントラスト・広色域・ピント調節可能なOST-HMDを提案し、OST-HMDにおける視覚的質感再現の幅を広げた。今後は、AR応用に向けた現行システムのリアルタイム化を中心に検討を進めていく。

今年，通过直接测量和调节光学透明头部显示器（OST-HMD），通过直接测量和调节射线（OST-HMD）来重现虚拟对象的质地，从而重现了与现实密不可分的虚拟对象的质地。 “估计视觉特征”：上一年的结果，视网膜扫描OST-HMD，它使用扩散的全息波前传感器（DWFS）整合了视力估算方法，”已被微型化和实时系统，旨在应用于增强现实（AR）的实时系统。关于小型化，我们提出了一种配置，用于在可穿戴设备上同时实施视觉估计和视频演示。为了实时实现，为从DWF获得的波前图像中构建了一个深度学习模型。 “可以重现各种光学特性的OST-HMD”；我们评估并改进了“焦平面光屏蔽OST-HMD”，该焦点使用相位空间光调制器（PSLM）（前一年）对连续的，弯曲的AR对象表示深度模糊。深度模糊的空间频率特性允许复制提出的方法并比较仿真，并在光学科学领域的主要国际杂志Optics Express中收集结果。此外，我们研究了一种方法，该方法卷积了使用“视觉特征估计”来补偿用户视力的模式，并同时补偿了真实的视图，同时改善了虚拟对象的深度表示。这项研究提出了一个OST-HMD，具有高对比度，宽色范围和可调节的重点，基于眼光测量以及高对比度，宽色域以及基于光的直接调节，从而扩展了OST-HMD中视觉纹理繁殖的范围。将来，我们将专注于为AR应用程序实时进行当前的系统。