权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Compressive Light Field Acquisition via High Speed Optical System

通过高速光学系统进行压缩光场采集

基本信息

批准号：
22H03611
负责人：
高橋桂太
金额：
$ 10.98万
依托单位：
Nagoya University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03611/
关键词：
光線空間圧縮撮像符号化深層学習

项目摘要

まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式では、カメラにおける単一の露光時間の間に、開口面のマスクパターンと画素面のマスクパターンを同期しつつ複数回切り替えることで、動的光線空間の情報を符号化された形式でセンサに記録する。その観測結果を計算機上で処理することで、元の動的光線空間を復元する。2022年度においては、再構成される光線空間の品質向上のため、復元アルゴリズムの改善に取り組んだ。具体的には、時系列方向に一貫した復元結果を得るため、時間的に連続する3枚の撮影画像を用いるアルゴリズムを新たに構築し、シミュレーションと実機上での実験により有効性を確かめた。次に、開口面の符号化とイベントカメラを組み合わせる方式について述べる。この方式については、先行する研究例がないため、2022年度には基本的な原理検討を行った。イベントカメラでは、各画素において時間軸方向の輝度変化を高い時間分解能で記録できる。開口面の符号化パターンを高速に制御することで、光線空間の視点軸方向の変化を、時間軸上の輝度変化に置き換え、イベントとしてセンシングできる。このアイデアを計算機上でシミュレーションし有効性を確認するとともに、実機上でも基礎的な実験に着手した。最後に、光線空間に適した表現形式の検討について述べる。光線空間の表現形式は、光線空間の構造に直結しており、この構造の理解は圧縮撮像の実現において本質をなす。また、光線空間は、実用上は離散化された多視点映像として扱われるものの、本来は連続空間上の信号である。光線空間に適した表現形式として、近年に相次いで提唱された3次元表現形式であるMultiplane ImageやNeural Radience Field等の有効性を検証するとともに、それら表現形式とセンシングとの組み合わせの可能性を模索した。

At the same time, symbolization of light space and compression of image are discussed. This method is to symbolize and record the information of the moving light space in the form of a single exposure time interval, an opening surface, a painting surface, a simultaneous multiple backcut, and a dynamic light space. The measurement results are processed on a computer, and the moving light space is reconstructed. In 2022, the quality of light space was improved and the quality of light space was restored. The specific time series direction is consistent with the complex result, and the time series is continuous with the three images. Second, the opening surface symbolization and the way to group and combine The basic principles of this research are discussed in 2022. The luminance of each pixel changes in the direction of the Timeline. The symbolization of the opening surface is controlled at high speed, the change of the viewpoint axis direction of the light space, the change of the luminance on the Timeline, the change of the position, the change of the position, and the change of the position. This is the first time I've ever seen a computer that's been working on this issue. Finally, the light space is suitable for the expression of the form of discussion. The expression form of light space is related to the structure of light space, and the understanding of the structure is related to the essence of compression image. In addition, the light space is used to discretize the multi-view image and the signal is originally connected to the space. In recent years, the expression of light space has been proposed in the form of three-dimensional expression, such as Multiplane Image and Neural Radiation Field.