权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

音声および顔情報の融合解析に基づく対話型人物認識システムに関する研究

基于语音与面部信息融合分析的交互式人物识别系统研究

基本信息

批准号：
06780358
负责人：
松村雅史
金额：
$ 0.64万
依托单位：
Osaka Electro-Communication University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1994
资助国家：
日本
起止时间：
1994 至无数据
项目状态：
已结题

项目摘要

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法はマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出する適応フィルタを開発し、周囲雑音中より話者の発生音抽出のS/Nを向上させた。2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、カラー顔画像のHSI変換により口唇部の位置を推定する。被験者6名の顔画像を用いて口唇位置推定実験を行った結果、100%の識別結果が得られた。3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む声道形状の精密測定に初めて成功し、摩擦子音声時の声道形状データを得ることができた。また、子音の明瞭度を決定する舌-口蓋接触面の垂直応力の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析より得られた特徴量が、個人識別に有効なパラメータであることを示した。

In this study, the characteristics of the individual voice and voice are extracted with high precision, and the characteristics of the combination are extracted with high precision when speaking. The purpose of the research is to use the selected characters, to understand the characters, and to understand the characters. Concrete には, plural の视覚センサとAudio センサを setting した视聴覚fusion センシングシステムの开発, the analysis of the sound generation process, the extraction of personal information, and the research purpose. The research results are as follows. 1. Visual fusion of the センシングシステムのkai発: the end of the end of the plural のビデオカメラとマイクロホンをSET した视聴覚fused センシングシステムを开発する.まず、4のマイクロホンを uses the いて sound source (lips) position to estimate the を line う technique を开発した. This technique uses the method to estimate the distance between the sound source and the signal and determine the phase difference between the sound source and the sound source. If the end of the sound is 50cm away from the sound source and the error is within 2.4cm, it is presumed that the sound is successful. When the location of the sub-sound source is known, the sound source signal of the week is extractedする Fit 応フィルタを开発し, Zhou囲雑音中より人说の発生音出のS/Nを上させた. 2. Estimation of the position of the lips in the facial image: Presumption of the position of the lips in the facial image and proposal of the technique. This technique uses the color of the lips and lips, the color of the lips, the point of the eyes, and the HSI change of the facial image, and the position of the lips is estimated. The face portraits of the 6 subjects were estimated based on their lip positions, and the result was a 100% recognition result. 3. Analysis of the sound generation process and extraction of personal information: Magnetic Resonance Imaging (MRI) method. Including the precise measurement of the shape of the vocal tract, the success of the first step, and the determination of the shape of the vocal tract when the sound is rubbed. The success of the measurement of the vertical force of the tongue-lid contact surface is determined by the clarity of the consonants and the sound. The acoustic characteristics of the vocal tract and nasal cavity are estimated, and the analysis results of the sound are consistent. The analysis of the sound generation process is a special feature, and the personal identification is effective and effective.