超高精細単視点多眼映像向け高効率符号化・高認識率映像システムの構築

点击翻译按钮获取中文摘要

小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。本研究は、単視点多眼映像における動画像符号化及び認識処理を、スケーラブル符号化と機械学習を利用することで高効率かつ高認識率を実現する画像処理システムの構築を目的とする。スケーラビリティのある高効率符号化方式と機械学習を用いた共通Convolutional Neural Network（CNN）やTransformerによる画像認識手法を組み合わせることで演算コストと処理性能の最適なトレードオフを実現し、単視点多眼映像向け画像処理システムを構築する。本年度は、超高解像度単視点多眼映像の検証と解析を中心に研究を行なった。本フェーズでは、超高解像度単視点多眼映像の符号化性能の検証とデータセットの作成を行う。符号化性能の検証はScalable Video Coding (SVC)規格をVVCに応用し、Wide-angle sequence (WS)-Telephoto sequence(TS)間の空間的相関関係を明らかにする。研究成果としては、1,主要な機械学習アルゴリズムを提案したこと、2,単視点多眼映像のデータセットの生成の2点である。これらに関連する研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。