权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

音声と顔画像の融合解析に基づく対話型人物認識システムに関する研究

基于语音与人脸图像融合分析的交互式人物识别系统研究

基本信息

批准号：
07780379
负责人：
松村雅史
金额：
$ 0.7万
依托单位：
Osaka Electro-Communication University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1995
资助国家：
日本
起止时间：
1995 至无数据
项目状态：
已结题

项目摘要

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法は4本のマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出するため、話者依存型整合フィルタを考案し、10名の成人男子により話者照合実験を行い、有効性を明らかにした。2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、色空間より口唇部の位置を推定する。被験者10名の顔画像を用いて口唇位置推定実験を行い、100%の識別結果が得られた。連続音声中の口唇形状が、顔画像の正規化に有効であることが示された。3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む音道形状の精密測定に成功し、摩擦子音発声時の音道形状データを得ることができた。また、音声言語の明瞭度を決定する舌-口蓋接触応力の計測、鼻咽喉閉鎖強度の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析に基づく音声分析により個人識別に有効な特徴量が得られることを示した。

In this study, the characteristics of the individual voice and voice are extracted with high precision, and the characteristics of the combination are extracted with high precision when speaking. The purpose of the research is to use the selected characters, to understand the characters, and to understand the characters. Concrete には, plural の视覚センサとAudio センサを setting した视聴覚fusion センシングシステムの开発, the analysis of the sound generation process, the extraction of personal information, and the research purpose. The research results are as follows. 1. Visual fusion of the センシングシステムのkai発: the end of the end of the plural のビデオカメラとマイクロホンをSET した视聴覚fused センシングシステムを开発する.まず、4のマイクロホンを uses the いて sound source (lips) position to estimate the を line う technique を开発した. This technique is based on the 4-original sound source, the distance difference between the sound source, the signal phase difference, the mutual correlation of the signal, and the estimation of the sound source position. If the end of the sound is 50cm away from the sound source and the error is within 2.4cm, it is presumed that the sound is successful. The location of the sound source is already known, the sound source signal is the sound source signal, the sound source signal is extracted, and the speaker is the speaker. Dependent integration of the test case, 10 adult men, the speaker according to the relationship, the effectiveness of the test. 2. Estimation of the position of the lips in the facial image: Presumption of the position of the lips in the facial image and proposal of the technique. This technique is based on the color of the lips and lips, the point of the lips, and the estimation of the position of the lips in the color space. The faces of the 10 subjects were estimated based on their lip positions, and the recognition result was 100%. The regularization of the shape of the lips and the facial image in the sound is also effective. 3. Analysis of the sound generation process and extraction of personal information: Magnetic Resonance Imaging (MRI) method The precise measurement of the shape of the melody was successful, and the shape of the melody was determined when the consonants were rubbed together. The success of the measurement of the tongue-to-oral contact force and the strength of the nasopharyngeal atresia was determined by the degree of clarity of speech and sound. The acoustic characteristics of the vocal tract and nasal cavity are estimated, and the analysis results of the sound are consistent. The analysis of the sound generation process is based on the sound analysis and the personal identification is effective.