Human Visual Properties based Image/Video Compression Research

点击翻译按钮获取中文摘要

近年、テレビ会議や遠隔操作ロボット等のテレプレゼンスシステムの必要性が増している。テレプレゼンスとは遠隔地と同じ空間を共有しているように感じる技術の総称である。しかし、JPEG200, H. 26６等の既存の動画像符号化手法では、ある一定の圧縮率を超えると映像の品質に著しい劣化が発生する。この問題は、地上と宇宙の通信で見られるようなネットワーク帯域が厳しく制限される環境下においてテレプレゼンスシステムを実現しようとした時に大きなボトルネックとなる。令和４年度は「知覚的に高品質な動画像通信の実現」に向けて、視覚特性に基づくサンプリングと画像補完法を利用した圧縮復元フレームワークを開発した。圧縮処理では、深層学習モデルで算出した顕著性マップと勾配を組み合わせた重要性マップを用いて、視覚特性を反映したサンプリングを画像に適用した。復元処理では、テンソルデータ補完と埋め込み空間における多様体モデルを用いて画像を復元した。ランダムサンプリングと重要性サンプリングをそれぞれ適用した画像の復元結果の比較により、提案法が画像評価指標PSNRおよびSSIMにおいて優れることを確認した。