超高精細単視点多眼映像向け高効率符号化・高認識率映像システムの構築

超高清单视多视视频高效编码/高识别率视频系统构建

• 批准号: 22K17913
• 负责人: 片山 貴文
• 金额: $ 2.83万
• 依托单位: The University of Tokushima
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17913/
• 关键词: 動画像符号化; 機械学習; 単視点多眼映像符号; Versatile Video Coding

小型IoTデバイスには単視点多眼映像が取得可能なカメラセンサが提供されている。しかしながら、単視点多眼映像から取得される映像の圧縮技術や認識技術の方法には多くの冗長性が未だ含まれており、より効率的な手法が必要とされている。本研究では、広角カメラ映像と望遠カメラ映像の空間的相関性をScalable Video Coding (SVC)規格や機械学習を応用することで明らかにし、これまで提案された圧縮技術や認識技術の効率化を目指す。本研究を完遂することで、小型カメラをターゲットとした新規画像処理システムへの応用が期待できる。本研究は、単視点多眼映像における動画像符号化及び認識処理を、スケーラブル符号化と機械学習を利用することで高効率かつ高認識率を実現する画像処理システムの構築を目的とする。スケーラビリティのある高効率符号化方式と機械学習を用いた共通Convolutional Neural Network（CNN）やTransformerによる画像認識手法を組み合わせることで演算コストと処理性能の最適なトレードオフを実現し、単視点多眼映像向け画像処理システムを構築する。本年度は、超高解像度単視点多眼映像の検証と解析を中心に研究を行なった。本フェーズでは、超高解像度単視点多眼映像の符号化性能の検証とデータセットの作成を行う。符号化性能の検証はScalable Video Coding (SVC)規格をVVCに応用し、Wide-angle sequence (WS)-Telephoto sequence(TS)間の空間的相関関係を明らかにする。研究成果としては、1,主要な機械学習アルゴリズムを提案したこと、2,単視点多眼映像のデータセットの生成の2点である。これらに関連する研究成果を研究論文としてまとめ、複数の国際会議で発表を行った。

Small IoTデバ スに スに 単 単 単 multi-eye image が can be obtained by なカメラセ サが サが providing されて る る る. し か し な が ら, 単 viewpoint more eye image か ら obtain さ れ る image の 圧 shrinkage technology や know の way に は more く の lengthy sex が だ not contain ま れ て お り, よ り sharper rate な gimmick が necessary と さ れ て い る. This study で は, hiroo カ メ ラ image と telescopic カ メ ラ image の phase masato space を Scalable Video Coding (SVC) specifications や rote learning を 応 with す る こ と で Ming ら か に し, こ れ ま で proposal さ れ た 圧 shrinkage technology や know の を mesh refers to す working rate. Finish this study を hence す る こ と で, small カ メ ラ を タ ー ゲ ッ ト と し た new rules portrait 処 Richard シ ス テ ム へ の 応 with が expect で き る. は, this study 単 viewpoint image many eyes に お け る animation as symbolic and び know 処 を, ス ケ ー ラ ブ ル symbolic と rote learning を using す る こ と で high working rate か つ high understanding rate を be presently す る portrait 処 Richard シ ス テ ム の build を purpose と す る. Youdaoplaceholder0 スケ ラビリティ ラビリティ ある ある high-efficiency symbolization methods と machine learning を uses た た common Convolutional Neural Network (CNN) や Transformer に よ る group portrait known technique を み close わ せ る こ と で calculus コ ス ト と 処 can rational の optimum な ト レ ー ド オ フ を be し, 単 viewpoint image many eyes to け portrait 処 Richard シ ス テ ム を build す る. This year, the 検, ultra-high resolution 単 viewpoint multi-eye imaging 検 certificate と analysis を center に research を field なった. This フェ フェ ズで ズで ズで う, the performance of ultra-high resolution 単 multi-eye image <s:1> symbolization performance <s:1> 検 certificate とデ タセット タセット タセット タセット を う う う う う う う う う う う う う う う is made into を line う. Symbolizing performance <s:1> 検 to prove that the を Scalable Video Coding (SVC) specification をVVCに応 uses the phase relation system of the <s:1> space between <s:1> and Wide-angle sequence(WS)-Telephoto sequence(TS) を and ら ら にする にする. Research results と し て は, 1, the main mechanical learning ア な ル ゴ リ ズ ム を proposal し た こ と, 2, 単 viewpoint image many eyes の デ ー タ セ ッ ト の generated の 2 で あ る. Youdaoplaceholder6 れらに related する research results を research papers と てまとめ てまとめ, multiple <s:1> international conference で schedules を events った.

项目成果

High-Accuracy Object Detection Using Multi-view Video at Road Intersections

• DOI: 10.1109/itc-cscc55581.2022.9894885
• 发表时间: 2022-07
• 期刊: 2022 37th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC)
• 作者: Urumu Ihara;Takafumi Katayama;Tian Song;T. Shimamoto

Object Detection in Curved Mirror with Multi-Cameras from Single Viewpoint Video

使用多摄像机从单视点视频进行曲面镜中的物体检测

• 发表时间: 2022
• 作者: Chihaya Asai;Takafumi Katayama;Tian Song and Takashi Shimamoto
• 通讯作者: Tian Song and Takashi Shimamoto

An Adaptive Selection Algorithm of Screen Content Coding Tools for Educational Video System

教育视频系统屏幕内容编码工具的自适应选择算法

• 发表时间: 2023
• 作者: Tanaka Shuichiro;Takafumi Katayama;Tian Song; Takashi Shimamoto
• 通讯作者: Takashi Shimamoto

Domain Adaptation through Photorealistic Enhanced Images for Semantic Segmentation

• DOI: 10.1155/2022/1848857
• 发表时间: 2022-07
• 期刊: Mathematical Problems in Engineering
• 作者: Takafumi Katayama;Tian Song;Xiantao Jiang;Jenq-Shiou Leu;T. Shimamoto

Deep Learning-Based Quality Enhancement Algorithms for Background of Video

基于深度学习的视频背景质量增强算法

• 发表时间: 2022
• 作者: Kei Kobayashi;Takafumi Katayama;Tian Song and Takashi Shimamoto
• 通讯作者: Tian Song and Takashi Shimamoto