稠密光線場処理に基づく超多眼映像の高速かつ高能率な圧縮符号化技術の研究

点击翻译按钮获取中文摘要

代表者らは従来から静的な稠密光線場の焦点ボケ構造を介した高能率符号化を提案しており、本研究では動的な稠密光線場である超多眼映像の圧縮にこれを拡張することを目的とする。具体的には、撮影対象の３次元分布と良く対応した焦点ボケ画像群上で、視差情報全体が統合的に表現可能な奥行き方向も合わせた動き補償を導入する超多眼映像の高能率符号化を提案し、その軽量化や高速実装による実時間伝送まで含め実証的評価を行う。当該の枠組に加え、基盤となる焦点ボケ画像群への変換の最適化やその残差の符号化に関わるフィルタ設計等も包括的に検討し、視点配置を前提にすることなく動き補償や視差補償をバラバラに組み合わせる形で標準化が進む既存の多視点映像符号化の単なる拡張ではない、強く構造化された動的稠密光線場の本質的冗長性をまとめて抽出削減する圧縮方式を確立する。本年度は、以上に述べた研究目的の達成に向け、令和３年度までに圧縮性能の実質的向上に注力した超多眼映像の符号化方式について、リアルタイム伝送への展開も考慮し、当該の符号化アルゴリズムの軽量化に取り組んだ。実際、実用的な圧縮符号化手法を構成するには、必要となる演算量の抑制も常に考慮しなければならない。とくに、実時間プロトタイプの構築に向け、シーンフロー推定部など提案する符号化を構成する各要素に応じ順次、十分な高速性と圧縮品質を維持する実装の検討を進めた。また、動き補償部のみならず、符号化側と復号側で共通となる光線場の予測について、非圧縮における同様の処理の実時間性を維持したまま、良好な圧縮品質が得られるよう、令和３年度までに提案したポストフィルタ等の組み込みも検討するなど、符号化の各要素を適宜、多数のGPUを搭載した計算サーバ上へ実装、それぞれのリアルタイム性を検証することで、超多眼の撮像系等と組合せた実時間プロトタイプの構成法を明らかにした。