手指動作の識別と定量を目的としたミリ波レーダ信号の解析

分析毫米波雷达信号以识别和量化手部运动

• 批准号: 22K17937
• 负责人: 三木 大輔
• 金额: $ 2.91万
• 依托单位: Chiba Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17937/
• 关键词: ミリ波レーダ; 人物動作解析; 深層学習; マルチインスタンス学習; ヒューマンインタフェース; ジェスチャ認識; ニューラルネットワーク

本研究の目的は情報端末に対する非接触入力を実現する上で必要な複数種類の手指動作（タップ、スワイプ等）の検知と、それぞれの動作の大きさの程度を定量が可能な検出器およびその学習手法を確立することである。センサには79 GHz帯域のミリ波レーダを採用し、データの解析には深層ニューラルネットワーク (Deep Neural Network, DNN) および申請者らがこれまでに確立したマルチインスタンス学習 (Multiple instance learning , MIL) とランキング学習Learning to Rank (LTR) を組み合わせたその学習方法を適用する。2022年度はミリ波レーダから取得される信号をレンジドップラ画像に変換し、DNNによる解析に適用することで手指動作の認識が可能であることを確認した。特にFFTのサンプリング点数等の設定にベイズ最適化を用いることで、10種の手指動作を89.8%の精度で識別可能であった。また、DNN に代えて時系列情報の扱いを得意とするスパイキングニューラルネットワーク (spiking neural network, SNN) を用いた手指動作認識手法の検討に取り組み、一定の成果（Miki et al., Signal Image and Video Processing, 2023）が得られているため、ミリ波レーダ信号の解析に適用できるように検討を行う。今後は行動識別モデルの学習時に LTR に基づく制約を加えることで、動作の大きさを定量可能とする。さらに、以上で確立した手法をミリ波レーダ信号の解析に適用し、実機を用いた評価を行う。以上の成果について2023年度は国内外での学会発表を予定している。

Purpose の this study は intelligence end に す seaborne る non-contact を into force be presently す る で necessary な plural kinds の finger gestures (タ ッ プ, ス ワ イ プ etc) の 検 と, そ れ ぞ れ の action の big き さ の degree を quantitative が may な 検 extractor お よ び そ の learning technique を establish す る こ と で あ る. セ ン サ に は 79 GHz 帯 domain の ミ リ wave レ ー ダ を し, デ ー タ の parsing に は Deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク (Deep Neural Network, Within DNN) お よ び applicants ら が こ れ ま で に establish し た マ ル チ イ ン ス タ ン ス learning (Multiple instance learning, MIL) と ラ ン キ ン グ learning learning to Rank (LTR) を group み close わ せ た そ の を learning method applicable す る. 2022 annual は ミ リ wave レ ー ダ か ら obtain さ れ る signal を レ ン ジ ド ッ プ ラ portrait に variations in し, within DNN に よ る parsing に applicable す る こ と で finger gestures の may know が で あ る こ と を confirm し た. Special に FFT の サ ン プ リ ン グ points such as の set に ベ イ ズ optimization を with い る こ と で, 10 kinds of finger の を 89.8% の で recognition accuracy may で あ っ た. ま た, within DNN に generation え て in series intelligence の Cha い を proud と す る ス パ イ キ ン グ ニ ュ ー ラ ル ネ ッ ト ワ ー ク (spiking neural network, the SNN) を with い た finger movements known technique の に 検 please take み り group, and a certain の results (Miki et al., Signal Image and Video Processing, 2023) が ら れ て い る た め, ミ リ wave レ ー ダ Signal analytical に の applicable で き る よ う に う beg を 検 line. Future は action recognition モ デ ル の learning に LTR に base づ く restrict を plus え る こ と で, big action の き さ を quantitative may と す る. さ ら に, establishment of the above で し た gimmick を ミ リ wave レ ー ダ signal analytical に の applicable し, be machine を い た review 価 う を line. The above <s:1> achievements are に, に and て て. The release schedule of <s:1> domestic and international で <s:1> societies in 2023 is を and approved for <s:1> て and る る る る る る.

项目成果

深度画像シーケンスのスパイク表現およびスパイキングニューラルネットワークによる解析

深度图像序列的尖峰表示和使用尖峰神经网络的分析

• 发表时间: 2022
• 作者: 上妻賢和;三木大輔
• 通讯作者: 三木大輔

Spike representation of depth image sequences and its application to hand gesture recognition with spiking neural network

• DOI: 10.1007/s11760-023-02574-3
• 发表时间: 2023-04
• 期刊: Signal, Image and Video Processing
• 作者: Daisuke Miki;Kento Kamitsuma;Taiga Matsunaga