权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

High frame rate and ultra-Low delay video sensing system for interactive applications

适用于交互式应用的高帧率和超低延迟视频传感系统

基本信息

批准号：
21K11816
负责人：
池永剛
金额：
$ 2.66万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K11816/
关键词：
映像認識超低遅延システムハードウェアアーキテクチャハフ変換 LK法サブピクセル変位測定法映像センシング超高速超低遅延システム FPGA FA検査マンマシンI/F 深層学習映像認識システム FPGAアーキテクチャ実時間画像処理

项目摘要

インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類等の基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、周波数領域でのサブピクセルマッチングを可能とする独自のDCT手法として、特徴融合ベースの方向符号のみの相関やフィッティングのないサブピクセル変位測定法などを提案し、FPGA上に実装する事により、0.75msで処理可能な事を実証した。また、適応的なアドレス選択や投票値を遅延なく初期化する手法などの独自提案により、直線検出を可能とするハフ変換を0.77msで処理可能な事を実証した。一方、追跡処理に関しては、LK (Lucas Kanade) 法の繰り返し処理を時間方向に展開する事により、1000fpsで、サブピクセルレベルの追跡を可能とする手法を実証した。さらに分類処理に関しては、深層学習を用いた果物を対象とした欠陥検出を高精度化つ超低遅延処理を可能とするアルゴリズムを検討し、1ms実装の見通しを得た。さらに将来の応用を睨んだ関連技術として、深層学習に基づく人物姿勢推定などに関する検討を行なった。以上の関連成果を５件の原著学術論文、および９件の国際会議（その内３件は、Best Presentation Awardを受賞）にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。

The next generation of image processing, ultra-high speed (1000fps), ultra-low latency (1 - 2 seconds), image recognition, image realization, and base disk technology creation. High precision in real environment, ultra-high speed, ultra-low delay, image recognition, image formation, image recognition, image recognition, For example, the DCT method for the processing of the signal in the frequency domain is proposed, and the processing of the signal in the FPGA is realized in 0.75 ms. For example, if you want to change the voting time, you can change the voting time by 0.77ms. One way, trace processing related to the LK (Lucas Kanade) method, return processing, time direction development of the event, 1000fps, and trace processing possible method to achieve this. In addition, the classification process is related to the use of deep learning, the image of the object is not detected, the high precision is reduced, and the ultra-low delay processing is possible. In the future, we will discuss the relationship between human posture estimation and deep learning. 5 original academic papers, 9 international conferences (3 of them received Best Presentation Award) For example, in the future, the technology of related enterprises will be actively exchanged, and the orientation of technology will be important.