Compressive Light Field Acquisition via High Speed Optical System

まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式では、カメラにおける単一の露光時間の間に、開 口面のマスクパターンと画素面のマスクパターンを同期しつつ複数回切り替えることで、動的光線空間の情報を符号化された形式でセンサに記録する。その観測結果を計算機上で処理することで、元の動的光線空間を復元する。2022年度においては、再構成される光線空間の品質向上のため、復元アルゴリズムの改善に取り組んだ。具体的には、時系列方向に一貫した復元結果を得るため、時間的に連続する3枚の撮影画像を用いるアルゴリズムを新たに構築し、シミュレーションと実機上での実験により有効性を確かめた。次に、開口面の符号化とイベントカメラを組み合わせる方式について述べる。この方式については、先行する研究例がないため、2022年度には 基本的な原理検討を行った。イベントカメラでは、各画素において時間軸方向の輝度変化を高い時間分解能で記録できる。開口面の符号化パターンを高速に制御することで、光線空間の視点軸方向の変化を、時間軸上の輝度変化に置き換え、イベント としてセンシングできる。このアイデアを計算機上でシミュレーションし有効性を確認するとともに、実機上でも基礎的な実験に着手した。最後に、光線空間に適した表現形式の検討について述べる。光線空間の表現形式は、光線空間の構造に直結しており、この構造の理解は圧縮撮像の実現において本質をなす。また、光線空間は、実用上は離散化された多視点映像として扱われるものの、本来は連続空間上の信号である。 光線空間に適した表現形式として、近年に相次いで提唱された3次元表現形式であるMultiplane ImageやNeural Radience Field等の有効性を検証するとともに、それら表現形式とセンシングとの組み合わせの可能性を模索した。

まず、開口面と撮像面の同時符号化による動的光線空間の圧縮撮像について述べる。この方式では、カメラにおける単一の露光時間の間に、開 口面のマスクパターンと画素面のマスクパターンを同期しつつ複数回切り替えることで、動的光線空間の情報を符号化された形式でセンサに記録する。その観測結果を計算機上で処理することで、元の動的光線空間を復元する。2022年度においては、再構成される光線空間の品質向上のため、復元アルゴリズムの改善に取り組んだ。具体的には、時系列方向に一貫した復元結果を得るため、時間的に連続する3枚の撮影画像を用いるアルゴリズムを新たに構築し、シミュレーションと実機上での実験により有効性を確かめた。次に、開口面の符号化とイベントカメラを組み合わせる方式について述べる。この方式については、先行する研究例がないため、2022年度には 基本的な原理検討を行った。イベントカメラでは、各画素において時間軸方向の輝度変化を高い時間分解能で記録できる。開口面の符号化パターンを高速に制御することで、光線空間の視点軸方向の変化を、時間軸上の輝度変化に置き換え、イベント としてセンシングできる。このアイデアを計算機上でシミュレーションし有効性を確認するとともに、実機上でも基礎的な実験に着手した。最後に、光線空間に適した表現形式の検討について述べる。光線空間の表現形式は、光線空間の構造に直結しており、この構造の理解は圧縮撮像の実現において本質をなす。また、光線空間は、実用上は離散化された多視点映像として扱われるものの、本来は連続空間上の信号である。 光線空間に適した表現形式として、近年に相次いで提唱された3次元表現形式であるMultiplane ImageやNeural Radience Field等の有効性を検証するとともに、それら表現形式とセンシングとの組み合わせの可能性を模索した。