A development of raw image coding with generalized spectral-spatial transforms

广义谱空间变换原始图像编码的发展

• 批准号: 22K04084
• 负责人: 鈴木 大三
• 金额: $ 2.58万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04084/
• 关键词: RAW画像; 圧縮符号化; スペクトル空間変換; 生成的画像インペインティング; RAWデータ; カラーフィルタアレイ; 非相関化; 画像符号化

本研究の目的は多様なニーズの溢れる現代において益々注目されるRAW画像を，より効率良く圧縮符号化する新たな技術の創出と確立である．前半期では，RAW画像をより非相関化する一般化スペクトル空間変換（SST：Spectral-Spatial Transform）を創出することを計画している．3年計画の内の初年度であった2022年度では，低演算低レイテンシな標準規格であるJPEG XSのために開発されたSSTであるStar-Tetrix変換（STT：Star-Tetrix Trasnform）を元に，より柔軟な変換を行える拡張STT（XSTT：eXtended STT）を提案した．XSTTは2020年に発表したウェーブレットSST（WSST：Wavelet-based SST）における第4のWSSTと捉えることが可能であり，結果として従来のSSTを4つの一般化SSTとしてまとめることに成功したといえる．また，より効果的な変換を実現するための改善方法として，画像のエッジ方向を加味するWSST（WWSST：Weighted WSST）を新たに提案した．これらの成果は，当該分野トップジャーナルであるIEEE Transactions on Image Processingや当該分野トップカンファレンスであるIEEE International Conference on Acoustics, Speech, & Signal Processing (ICASSP) 2022にも採択され，高く評価された．そしてこれらの成果については国内研究会第37回信号処理シンポジウムでも発表し，多くの研究者と議論し，次の研究への糸口を掴むこととなった．一方で，RAW画像をフルカラー画像として利用するためにはデモザイキングという画素の補完処理が必要となる．この処理はSSTにおける予測ステップに密接な関係があるため,その技術の進展が必要と考え，深層学習に基づく生成的画像インペインティングの研究も同時に進めている．この一つの成果についても，国内研究会第37回信号処理シンポジウムで発表した．

The purpose of this study is to create and establish a new technology for multi-media communication. In the first half, RAW images are not correlated.(SST: Spectral-Spatial Transform) is a standard specification for JPEG XS. It was developed by SST in the first year of the three-year plan in 2022.(STT: Star-Tetrix Trasnform)(XSTT: eXtended STT) was proposed.XSTT was launched in 2020. WSST (Wavelet-based SST) was launched in 2020. A new proposal was made for the improvement of the image in the direction of the Weighted WSST. IEEE Transactions on Image Processing and IEEE International Conference on Acoustics, Speech, & Signal Processing (ICASSP) 2022 are published in the journal IEEE Transactions on Image Processing. The 37th session of the National Research Council on Signal Processing was held in Beijing, China. On the one hand, RAW images are necessary for pixel completion processing. This process is necessary for the development of SST technology. Deep learning is essential for the development of SST technology. The 37th session of the National Research Council was held in Beijing.

项目成果

事前修復によるエッジ生成を用いた生成的画像インペインティング

使用边缘生成和预修复进行生成图像修复

• 发表时间: 2022
• 作者: 鄧嘉禾;鈴木大三
• 通讯作者: 鈴木大三

Bayer-RAW画像のための拡張Star-Tetrix変換

针对 Bayer-RAW 图像的增强型 Star-Tetrix 变换

• 发表时间: 2022
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang;Liping Huang and Taizo Suzuki;鈴木大三
• 通讯作者: 鈴木大三

Edge-aware extended Star-Tetrix transforms for CFA-sampled raw camera image compression

用于 CFA 采样原始相机图像压缩的边缘感知扩展 Star-Tetrix 变换

• DOI: 10.1109/tip.2022.3205470
• 发表时间: 2022
• 期刊: IEEE Transactions on Image Processing
• 影响因子: 10.6
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang
• 通讯作者: Taizo Suzuki and Liping Huang

Weighted wavelet-based spectral-spatial transforms for CFA-sampled raw image compression considering image features

考虑图像特征的基于加权小波的谱空间变换，用于 CFA 采样原始图像压缩

• 发表时间: 2022
• 作者: D. Kawaguchi;S. Tomita;S. Hirayama;Y. Inui;冨田壮平，川口大貴，平山智士，乾 義尚;冨田壮平，川口大貴，平山智士，乾 義尚;Taizo Suzuki and Liping Huang;Liping Huang and Taizo Suzuki
• 通讯作者: Liping Huang and Taizo Suzuki