Human Visual Properties based Image/Video Compression Research

基于人类视觉特性的图像/视频压缩研究

• 批准号: 22K17921
• 负责人: 孫 哲
• 金额: $ 2.75万
• 依托单位: Institute of Physical and Chemical Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17921/
• 关键词: 視覚的注意; 重要度マップ; 画像復元; 動画像圧縮; テレプレゼンス; 顕著性マップ; 画質評価

近年、テレビ会議や遠隔操作ロボット等のテレプレゼンスシステムの必要性が増している。テレプレゼンスとは遠隔地と同じ空間を共有しているように感じる技術の総称である。しかし、JPEG200, H. 26６等の既存の動画像符号化手法では、ある一定の圧縮率を超えると映像の品質に著しい劣化が発生する。この問題は、地上と宇宙の通信で見られるようなネットワーク帯域が厳しく制限される環境下においてテレプレゼンスシステムを実現しようとした時に大きなボトルネックとなる。令和４年度は「知覚的に高品質な動画像通信の実現」に向けて、視覚特性に基づくサンプリングと画像補完法を利用した圧縮復元フレームワークを開発した。圧縮処理では、深層学習モデルで算出した顕著性マップと勾配を組み合わせた重要性マップを用いて、視覚特性を反映したサンプリングを画像に適用した。復元処理では、テンソルデータ補完と埋め込み空間における多様体モデルを用いて画像を復元した。ランダムサンプリングと重要性サンプリングをそれぞれ適用した画像の復元結果の比較により、提案法が画像評価指標PSNRおよびSSIMにおいて優れることを確認した。

In recent years, the necessity of テレビ meetings や being held remotely ロボット and other activities such as <s:1> テレプレゼ スシステム スシステム スシステム が has increased て and る る る る る る る る る. テ レ プ レ ゼ ン ス と は far to と を じ space with a total of し て い る よ う に feeling じ る technology の 総 said で あ る. し か し, JPEG200, such as h. 266 の existing の animation as a symbolic technique で は, あ る certain の 圧 shrinkage を super え る と image quality の に the し い degradation が 発 raw す る. こ の は, see the ground と の universe communication で ら れ る よ う な ネ ッ ト ワ ー ク 帯 domain が 厳 し limitations く さ れ る environment に お い て テ レ プ レ ゼ ン ス シ ス テ ム を be presently し よ う と し た に big き な ボ ト ル ネ ッ ク と な る. Make and 4 year は "know 覚 に な high quality animation like communication の be now" に to け て, regard 覚 characteristics に づ く サ ン プ リ ン グ と portrait fill out を using し た 圧 shrinkage recovery フ レ ー ム ワ ー ク を open 発 し た. 圧 shrinkage 処 Richard で は, deep learning モ デ ル で calculate し た 顕 the sexual マ ッ プ と hook group match を み close わ せ た importance マ ッ プ を with い て, regard 覚 を reflect し た サ ン プ リ ン グ を portrait に applicable し た. Recovery 処 Richard で は, テ ン ソ ル デ ー タ fill out と buried め 込 み space に お け る others more body モ デ ル を with い て portrait を recovery し た. ラ ン ダ ム サ ン プ リ ン グ と importance サ ン プ リ ン グ を そ れ ぞ れ applicable し た portrait の recovery results の に よ り portraits, proposal が review 価 index PSNR お よ び SSIM に お い て optimal れ る こ と を confirm し た.

项目成果

低帯域下での動画像通信に向けた視覚特性に基づくサンプリングによる圧縮復元に関する研究

低带宽下视频通信中基于视觉特性的采样压缩与解压研究

• 发表时间: 2022
• 作者: 吉田 瞬良;孫 哲;吉澤 信;道川 隆士;野田 茂穂;Micheletto Ruggero;横田 秀夫
• 通讯作者: 横田 秀夫

Visual Saliency Guided Image Compression for Telepresence Robotics System

用于远程呈现机器人系统的视觉显着性引导图像压缩

• 发表时间: 2023
• 作者: Z. Sun;S. Yoshizawa;T. Michikawa;S. Noda;and H. Yokota
• 通讯作者: and H. Yokota