センサフュージョンに関する研究

传感器融合研究

• 批准号: 01F00747
• 负责人: 石川 正俊
• 金额: $ 1.92万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-01F00747/
• 关键词: センサフュージョン; ジェスチャー認識; 音声認識; 隠れマルコフモデル

人間は,視覚,聴覚などの複数の感覚をうまく統合することによって優れた認識能力を実現している.このような優れた能力を工学的に実現するための技術がセンサフュージョンである.当該研究員は,センサフュージョンの技術をヒューマンインタフェースに応用するための研究を行っている.具体的には,ビジョンとマイクロフォンを用いて人間の動作や声を計測し,それらの情報を融合することで,人間のジェスチャーの認識を高速かつ高い精度で実現することを目標としている.聴覚と視覚情報の融合は,これまでにも多くの研究が行われてきたが,それらのほとんどは,人間の話し声に対する音声認識を目的としたものであった.一方,人間のジェスチャー認識に聴覚と視覚のセンサフュージョンを応用した研究はなく,本研究はジェスチャー認識に対して,新たな視点から取り組み,性能の向上を目指すものである.本年度は次のような研究を行った.(1)ヒューマンインタフェースのためのジェスチャーと音声の統合隠れマルコフモデルによる音声認識手法を,ジェスチャーの認識へ拡張し,新たなジェスチャー認識手法を提案した.また,音声とジェスチャーのそれぞれの認識結果の統合手法について提案した.高速ビジョンを用いて1msで人間の手の動きを計測し,提案した隠れマルコフモデルによるジェスチャー認識の実験を行い,その有効性を確かめた.(2)レーザーポインタを用いた実時間トラッキングシステムの開発指によるジェスチャー入力を高速に実現するために,レーザーポインタを用いた実時間トラッキングシステムを開発した.開発したトラッキングシステムは,レーザービームとフォトディテクタ,2つの回転ミラーからなる.人間の手指に対して能動的にレーザーを当て,その光点をトラッキングする.レーザーを用いているため,外界の明るさに関係なくトラッキングできる.また,回転ミラーを用いで2自由度のトラッキング機構を構成しているために,全体のシステムも小型化することができた.開発したトラッキングシステムを,ジェスチャーによる空間文字入力に用いて,その有効性を確かめた.

Human, visual, and cognitive abilities are realized through multiple sensory integration. The best way to do this is to create a better environment. When the researcher was working on the project, he said,"We're going to have to work on the project." The specific purpose is to measure human motion and sound, to integrate human motion and sound information, and to realize human motion and sound recognition at high speed and high precision. The fusion of visual information, the study of visual information and the study of visual information. A new perspective on the development of human society is presented in this paper. This year's research is on the way. (1)A new method of sound recognition is proposed. The sound and sound of the sound. High speed mobile phone application 1ms to measure human hand movement, propose to use mobile phone application 1 ms to measure human hand movement 1 ms to measure human hand movement 1 ms to measure human hand movement (2)The time to open the door is to open the door. Open the door, open the door. The human finger is active, and the light spot is active. The relationship between the outer boundary and the outer boundary is not easy to understand. The structure of the mechanism is 2 degrees of freedom, and the whole structure is miniaturized. Open space text entry, space text entry

项目成果

S.PERRIN, A.CASSINELLI, M.ISHIKAWA: "Gesture Recognition Using Laser-based Tracking System"6th International Conference on Automatic Face and Gesture Recognition 2004 (FG 2004). 17-19 (2004)

S.PERRIN、A.CASSINELLI、M.ISHIKAWA：“使用基于激光的跟踪系统的手势识别”2004 年第 6 届自动人脸和手势识别国际会议 (FG 2004)。

S.PERRIN, A.CASSINELLI, M.ISHIKAWA: "Laser-Based Finer Tracking System Suitable for MOEMS Integration"Image and Vision Computing New Zealand 2003 (IVCNZ 2003). 131-136 (2003)

S.PERRIN、A.CASSINELLI、M.ISHIKAWA：“适用于 MOEMS 集成的基于激光的精细跟踪系统”新西兰图像和视觉计算 2003 年 (IVCNZ 2003)。

S.PERRIN, M.ISHIKAWA: "Quantized Features For Gesture Recognition Using High Speed Vision Camera"Proc. of Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI 2003). 383-390 (2003)

S.PERRIN、M.ISHIKAWA：“使用高速视觉相机进行手势识别的量化特征”Proc。