权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

指示棒と音声を用いるマルチモーダルインターフェイスの認識処理高速化

使用指针杆和语音加速多模态界面的识别处理

基本信息

批准号：
07780369
负责人：
大橋健
金额：
$ 0.51万
依托单位：
Kyushu Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1995
资助国家：
日本
起止时间：
1995 至无数据
项目状态：
已结题

项目摘要

本研究は,ユーザが指示棒を音声とを用いてコンピュータとインタラクションを行なうインターフェイス環境を構築するために行なわれた.指示棒の3次元座標は,テレビカメラの映像から画像処理を行い指示棒の画像領域を抽出し,3次元空間中の座標を推定することにより得られる.これらの座標を用いてポインティングバイスとして活用し,音声認識から得られる言語情報と組み合わせることにより使い易いインターフェイスを構築しようというものである.指示棒と音声を用いたマルチモーダルインターフェイスを構成するにあたり,画像処理による指示棒の認識と音声認識処理の速度と精度の向上が課題であった.画像処理速度の向上に関しては,入力画像をネット-ワークを経由した別の計算機に送付し認識処理を行なうことを試みた.しかしながら画像のデータ量が多く高速のネットワークでないと効果が得られないことが分った.また,画像サイズが小さければ十分ワークステーションでもリアルタイム(一秒間に10コマ程度)処理できるので実用になる範囲と考えられる.次に音声認識についてであるが,インタラクティブなシステムに活用するためには精度はもちろんレスポンスタイムが短いことが望ましい.このため,認識対象とする単語を限定しパワーをもとに単語に切り出しして認識させることによりソフトウェアのみでも十分許容できる時間内で認識処理できるようになった.また,音声の母音のもつ調波構造とホルマントの特徴を用いて他の背景雑音から抽出することができるようになった.今後はこれを用いて音声認識の評価を行ないたいと考えている.

In this study, the indicator rod was used to construct the environment. 3-D coordinates of the pointer rod are extracted from the image of the pointer rod, and coordinates in 3-D space are estimated. The coordinates of the sound are used to create the sound of speech. Pointing rod sound recognition speed and accuracy upward problem. The speed of image processing is related to the input image generation. There is so much data in the portrait and so much high-speed Internet access, and the effect is so great. For example, if the image is small, it will be very small. If the image is small, it will be small. If the image is small, it will be small. If the image is small, it will be Second, the sound recognition is very important. This is the first time that we've seen this. The vowel of a sound is modulated by the structure and characteristics of the sound. In the future, the use of sound recognition will be evaluated.