权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

High frame rate and ultra-Low delay video sensing system for interactive applications

适用于交互式应用的高帧率和超低延迟视频传感系统

基本信息

批准号：
21K11816
负责人：
池永剛
金额：
$ 2.66万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K11816/
关键词：
映像認識超低遅延システムハードウェアアーキテクチャハフ変換 LK法サブピクセル変位測定法映像センシング超高速超低遅延システム FPGA FA検査マンマシンI/F 深層学習映像認識システム FPGAアーキテクチャ実時間画像処理

项目摘要

インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類等の基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、周波数領域でのサブピクセルマッチングを可能とする独自のDCT手法として、特徴融合ベースの方向符号のみの相関やフィッティングのないサブピクセル変位測定法などを提案し、FPGA上に実装する事により、0.75msで処理可能な事を実証した。また、適応的なアドレス選択や投票値を遅延なく初期化する手法などの独自提案により、直線検出を可能とするハフ変換を0.77msで処理可能な事を実証した。一方、追跡処理に関しては、LK (Lucas Kanade) 法の繰り返し処理を時間方向に展開する事により、1000fpsで、サブピクセルレベルの追跡を可能とする手法を実証した。さらに分類処理に関しては、深層学習を用いた果物を対象とした欠陥検出を高精度化つ超低遅延処理を可能とするアルゴリズムを検討し、1ms実装の見通しを得た。さらに将来の応用を睨んだ関連技術として、深層学習に基づく人物姿勢推定などに関する検討を行なった。以上の関連成果を５件の原著学術論文、および９件の国際会議（その内３件は、Best Presentation Awardを受賞）にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。

インタラクティブ応用のための Next-generation image センシングのコアとなる, ultra-high speed (1000fps), ultra-low lag (1から2ミリSecond) image recognition システム実现のためのBasic technology creation を行うことをpurposeとして、様々なimageセンシングシステム実appearのKeyとなる、Image の特徴をUsing いたマッチング、Tracing, classification and other basic processing に対し、High-precision in the environment られるUltra-high speed and ultra-low speed Yanxiang image recognition アルゴリズム composition method とそれに记づくハードウェアアーキテクチャの実appears を Eye refers to したtakes りgroup みを行なった.マッチング processing に关しては, frequency field でのサブピクセルマッチングをPossible original DCT technique, special fusion directional symbol, Related やフィッティングのないサブピクセル変 Position Measurement Method などをProposal, F On the PGA, it is possible to install and process 0.75ms.また, the suitable なアドレス选択やvoting value を遅慅なくInitialization する Technique などのpropose aloneより, straight line 検出をpossible and とするハフ変change を0.77msでprocessing possible な事を実证した. One side, trace processing に关しては, LK (Lucas Kanade)法の缲り return しを time direction に unfold する事により, 1000fps で, サブピクセルレベルの Traceability とする Technique を実证した. Classification processing, deep learning, and deep learning are all highly accurate. The ultra-low latency processing is possible, and the 1ms low-latency processing is possible.さらに Future の応を睨んだrelated technology として, deep learning にbased づく character posture estimation などに关する検question を行なった. The above-mentioned related results include 5 original academic papers, 9 international conferences (3 within the project, and Best Presentation Award) and 19 international conferences.また, related companies and とのtechnical exchanges are active に行い, and in the future, これらのtechnical をIndustrial につなげていく上でimportant となるdirectional に关して多くの知见をgetた.