High frame rate and ultra-Low delay video sensing system for interactive applications

点击翻译按钮获取中文摘要

インタラクティブ応用のための次世代映像センシングのコアとなる、超高速（1000fps）、超低遅延(1から2ミリ秒)映像認識システム実現のための基盤技術創出を行うことを目的として、様々な映像センシングシステム実現の鍵となる、画像の特徴を用いたマッチング、追跡、分類等の基本処理に対し、実環境下で高い精度が得られる超高速・超低遅延向き映像認識アルゴリズム構成法とそれに基づくハードウェアアーキテクチャの実現を目指した取り組みを行なった。マッチング処理に関しては、周波数領域でのサブピクセルマッチングを可能とする独自のDCT手法として、特徴融合ベースの方向符号のみの相関やフィッティングのないサブピクセル変位測定法などを提案し、FPGA上に実装する事により、0.75msで処理可能な事を実証した。また、適応的なアドレス選択や投票値を遅延なく初期化する手法などの独自提案により、直線検出を可能とするハフ変換を0.77msで処理可能な事を実証した。一方、追跡処理に関しては、LK (Lucas Kanade) 法の繰り返し処理を時間方向に展開する事により、1000fpsで、サブピクセルレベルの追跡を可能とする手法を実証した。さらに分類処理に関しては、深層学習を用いた果物を対象とした欠陥検出を高精度化つ超低遅延処理を可能とするアルゴリズムを検討し、1ms実装の見通しを得た。さらに将来の応用を睨んだ関連技術として、深層学習に基づく人物姿勢推定などに関する検討を行なった。以上の関連成果を５件の原著学術論文、および９件の国際会議（その内３件は、Best Presentation Awardを受賞）にて発信した。また、関連企業との技術交流を積極的に行い、今後、これらの技術を産業につなげていく上で重要となる方向性に関して多くの知見を得た。