A development of raw image coding with generalized spectral-spatial transforms

广义谱空间变换原始图像编码的发展

• 批准号: 22K04084
• 负责人: 鈴木 大三
• 金额: $ 2.58万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04084/
• 关键词: RAW画像; 圧縮符号化; スペクトル空間変換; 生成的画像インペインティング; RAWデータ; カラーフィルタアレイ; 非相関化; 画像符号化

本研究の目的は多様なニーズの溢れる現代において益々注目されるRAW画像を，より効率良く圧縮符号化する新たな技術の創出と確立である．前半期では，RAW画像をより非相関化する一般化スペクトル空間変換（SST：Spectral-Spatial Transform）を創出することを計画している．3年計画の内の初年度であった2022年度では，低演算低レイテンシな標準規格であるJPEG XSのために開発されたSSTであるStar-Tetrix変換（STT：Star-Tetrix Trasnform）を元に，より柔軟な変換を行える拡張STT（XSTT：eXtended STT）を提案した．XSTTは2020年に発表したウェーブレットSST（WSST：Wavelet-based SST）における第4のWSSTと捉えることが可能であり，結果として従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，より効果的な変換を実現するための改善方法として，画像のエッジ方向を加味するWSST（WWSST：Weighted WSST）を新たに提案した．これらの成果は，当該分野トップジャーナルであるIEEE Transactions on Image Processingや当該分野トップカンファレンスであるIEEE International Conference on Acoustics, Speech, & Signal Processing (ICASSP) 2022にも採択され，高く評価された．そしてこれらの成果については国内研究会第37回信号処理シンポジウムでも発表し，多くの研究者と議論し，次の研究への糸口を掴むこととなった．一方で，RAW画像をフルカラー画像として利用するためにはデモザイキングという画素の補完処理が必要となる．この処理はSSTにおける予測ステップに密接な関係があるため,その技術の進展が必要と考え，深層学習に基づく生成的画像インペインティングの研究も同時に進めている．この一つの成果についても，国内研究会第37回信号処理シンポジウムで発表した．

Purpose の this study は others more な ニ ー ズ の overflow れ る modern に お い て yi 々 attention さ れ る RAW portrait を, よ り sharper rate good く 圧 shrinkage symbolic す る new た の な technology makes と establish で あ る. First half で は, RAW portrait を よ り non-literary phase masato す る generalization ス ペ ク ト ル Spatial variations in (SST: Spectral - Spatial Transform) を hit す る こ と を project し て い る. Within 3 years plan の の early annual で あ っ た 2022 で は, low calculus レ イ テ ン シ な standard で あ る JPEG XS の た め に open 発 さ れ た SST で あ る Star - Tetrix variations in (STT: (Star-Tetrix Trasnform) を yuan に, よ <s:1> soft な change を lines える拡 sheet STT (XSTT: eXtended STT) を proposal た. XSTT は 2020 に 発 table し た ウ ェ ー ブ レ ッ ト SST (WSST: Wavelet - -based SST) に お け る 4 の WSST と catch え る こ と が may で あ り, results と し て 従 to の SST を 4 つ の generalization SST と し て ま と め る こ と に successful し た と い え る. ま た, よ り unseen fruited な variations in を be presently す る た め の improvement methods と し て, portrait の エ ッ ジ direction を flavored す る WSST (WWSST: Weighted WSST) を new た に proposal し た. Youdaoplaceholder0 れら results When the field トップジャ トップジャ ナ ナ ナ である である である であるIEEE Transactions on Image Processingや when the field トップカ ファレ ファレ スである スであるIEEE International Conference on Acoustics Speech, & Signal Processing (ICASSP) 2022に に interview 択され, Gao く review 価された. そ し て こ れ ら の results に つ い て は domestic research back to 37 signals 処 Richard シ ン ポ ジ ウ ム で も し 発 tables, more く の, researchers と comment し の study へ の si mouth を slap む こ と と な っ た. One party で, RAW portrait を フ ル カ ラ ー portrait と し て using す る た め に は デ モ ザ イ キ ン グ と い う pixels の fill out 処 Richard が necessary と な る. こ の 処 Richard は SST に お け る be ス テ ッ プ に contact な masato is が あ る た め, そ の の technology progress が necessary と え, deep learning に base づ く generated portrait イ ン ペ イ ン テ ィ ン グ の research も に into at the same time め て い る. The results of the 37th signal processing of the domestic research association are に ポジウムで ポジウムで.

项目成果

事前修復によるエッジ生成を用いた生成的画像インペインティング

使用边缘生成和预修复进行生成图像修复

• 发表时间: 2022
• 作者: 鄧嘉禾;鈴木大三
• 通讯作者: 鈴木大三

Bayer-RAW画像のための拡張Star-Tetrix変換

针对 Bayer-RAW 图像的增强型 Star-Tetrix 变换

• 发表时间: 2022
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang;Liping Huang and Taizo Suzuki;鈴木大三
• 通讯作者: 鈴木大三

Edge-aware extended Star-Tetrix transforms for CFA-sampled raw camera image compression

用于 CFA 采样原始相机图像压缩的边缘感知扩展 Star-Tetrix 变换

• DOI: 10.1109/tip.2022.3205470
• 发表时间: 2022
• 期刊: IEEE Transactions on Image Processing
• 影响因子: 10.6
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang
• 通讯作者: Taizo Suzuki and Liping Huang

Weighted wavelet-based spectral-spatial transforms for CFA-sampled raw image compression considering image features

考虑图像特征的基于加权小波的谱空间变换，用于 CFA 采样原始图像压缩

• 发表时间: 2022
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang;Liping Huang and Taizo Suzuki
• 通讯作者: Liping Huang and Taizo Suzuki