Low-latency Vision Augmentation Integrating High-Speed Human and Environmental Measurements with Field-of-View Prediction

将高速人体和环境测量与视场预测相结合的低延迟视觉增强

基本信息

批准号：
22KJ0753
负责人：
廣井裕一
金额：
$ 2.83万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2025-03-31
项目状态：
未结题

项目摘要

低遅延な視覚拡張技術の確立に向けて、今年度は以下の進捗があった。■視覚計測に基づく視覚刺激の提示システム：低遅延な視覚拡張には、視野に提示すべき視覚刺激を高精細に計算し、ディスプレイ上で提示するシステムが必要である。今年度は、ユーザの視線位置・方向を計測し、それに応じたステレオ映像を深層学習により生成し、ディスプレイ上に提示するシステムを設計した。■接眼ディスプレイ上の高精度な空間較正：視覚拡張には、実環境に対して空間的にズレのない映像提示が必要である。今年度は、頭部搭載型ディスプレイ(Head Mounted Display, HMD)において、視線位置・方向に応じて変化する提示画像の歪みを深層学習により高速にシミュレートする手法を提案した。■低遅延な映像提示が可能な接眼ディスプレイ：低遅延な視覚拡張には、眼前に映像を低遅延で投射するディスプレイシステムが必要である。今年度は、ステアリングミラーと位置センシング素子による同軸光学系を使用し、眼前に低遅延で映像を投射するディスプレイシステムを設計した。これらの成果を統合することで、本研究の要素技術の一つである「実際の変化に先んじて視野に提示すべき視覚刺激を計算し、接眼ディスプレイ上で低遅延に提示するシステム」が実現される。成果として、光学分野のトップ国際論文誌に1件掲載され、バーチャルリアリティに関する査読付き国際会議に1件採録され、さらに1件が国際論文誌で査読中である。

在本财政年度已经取得了以下进展，以准备建立低延迟的视觉扩展技术。 ■基于视觉测量的视觉刺激呈现系统：对于低延迟的视觉膨胀，需要一个系统来计算和显示显示屏上高清晰度的视觉刺激。今年，我们设计了一个系统，可以测量用户目光的位置和方向，通过深度学习相应地生成立体声图像，并将其显示在显示屏上。 ■目镜显示上的高度精确的空间校准：视觉膨胀需要视觉呈现，而视觉呈现不会在空间上相对于真实环境进行区分。今年，我们提出了一种方法，以快速模拟呈现的图像的失真，该方法根据使用深度学习在头部安装显示器（HMD）上的位置和方向而变化。 ■目镜显示能够进行低延迟视频演示：对于低延迟的视觉扩展，需要使用低延迟视频在眼前投射图像的显示系统。今年，我们设计了一个显示系统，该显示系统使用由转向镜和位置感应元素组成的同轴光学系统，以低潜伏期在眼前投射图像。通过整合这些结果，这项研究的关键技术之一是一个系统，该系统可以计算出在实际变化之前在视野中呈现的视觉刺激，并在目镜显示器上以低潜伏期呈现它们。结果，一篇文章已在《光学领域的国际顶级期刊》上发表，一篇文章在经过同行评审的虚拟现实国际会议上被接受，并且在国际期刊上进行了同行评审。