音声と顔画像の融合解析に基づく対話型人物認識システムに関する研究

基于语音与人脸图像融合分析的交互式人物识别系统研究

• 批准号: 07780379
• 负责人: 松村 雅史
• 金额: $ 0.7万
• 依托单位: Osaka Electro-Communication University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1995
• 资助国家: 日本
• 起止时间: 1995 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-07780379/
• 关键词: 視聴覚融合; 話者認識; カラー顔画像; 音道形状; 整合フィルタ; マルチマイクロホン; 音源定位

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法は4本のマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出するため、話者依存型整合フィルタを考案し、10名の成人男子により話者照合実験を行い、有効性を明らかにした。2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、色空間より口唇部の位置を推定する。被験者10名の顔画像を用いて口唇位置推定実験を行い、100%の識別結果が得られた。連続音声中の口唇形状が、顔画像の正規化に有効であることが示された。3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む音道形状の精密測定に成功し、摩擦子音発声時の音道形状データを得ることができた。また、音声言語の明瞭度を決定する舌-口蓋接触応力の計測、鼻咽喉閉鎖強度の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析に基づく音声分析により個人識別に有効な特徴量が得られることを示した。

This study で は, voice の personal 徴 と 発 when の yan の, 徴 を high precision で drew し, 総 あ る い は sentaku に transfer し, end を operation す る characters を know す る シ ス テ ム の open 発 を research purpose と す る. Specific に は, plural の 覚 セ ン サ と sound セ ン サ を set し た depending on hearing fusion セ ン シ ン グ シ ス テ ム の 発, sounds generation process analytical に の base づ く personal intelligence の spare を research purpose と す る. The research results are and である. 1. Depending on the hearing fusion セ ン シ ン グ シ ス テ ム の 発 : open end に plural の ビ デ オ カ メ ラ と マ イ ク ロ ホ ン を set し た depending on hearing fusion セ ン シ ン グ シ ス テ ム を open 発 す る. Youdaoplaceholder0, 4 copies of <s:1> ロホ ロホ ロホ を を using the position of the て sound source (lips) <s:1> to infer that を is in line う, を is used to publish た. This technique は 4 this の マ イ ク ロ ホ ン と audio と の の distance difference に with う signal の bit differ を マ イ ク ロ ホ ン signal の mutual phase masato masato number よ り presumption し with fixed position, audio を す る. The end ら is 50cm away from the れた sound source position を with an error of less than 2.4cm で. It is presumed that the する とに とに とに is successful and the た is た. Time に sound source location が already know で あ る occasions, zhou 囲 を 雑 notes contain む マ イ ク ロ ホ ン signal か ら audio signal を spare す る た め, words dependent type integrated フ ィ ル タ し を test case, 10 の adult man に よ り according to close the speaker's words be 験 を line い, have sharper を Ming ら か に し た. 2. Youdaoplaceholder0 カラ facial portrait による lip position <s:1> presumption :カラ カラ facial portrait よ large lip <s:1> position を presumption する technique を proposal た た. This technique で は oral が muscle の color よ り red み が か っ て い に る point with よ し, color space り oral department の position を presumption す る. The <s:1> facial portraits of 10 subjects are を. The position of the lips of the を て is used to infer that the actual subjects are を and を. The 100% <s:1> identification result が is られた. In the 続 sound, the shape of the lip of the mouth が and the shape of the facial image <e:1> are regularized に, which has the effect of である された とが とが indicating された. 3. Sounds generation process analytical に の base づ く personal intelligence の drew: method of 気 magnetic resonance image (MRI) に よ り 歯 crown を containing の む sound way shape precision measurement に し success, friction consonants sound 発 の way shape デ ー タ を have る こ と が で き た. Youdaoplaceholder0 and the <s:1> clarity of speech を determine the success of する glossy-oral cover contact 応 force <s:1> measurement and nasopharyngeal occlusion intensity <s:1> measurement に た た た. さ ら に track and び の nasal cavity acoustics characteristic を presumption し, be sounds の analysis results agree と す る こ と, こ の よ う な sounds generation process analytical に の base づ く sounds analysis に よ り personal identification に have sharper な, が 徴 quantity to ら れ る こ と を shown し た.

项目成果

M. Matsumura,: "Measurement and Analysis of 3D Shapes of Vocal tract, dental crown and nasal cavity using MRI" 15th International Congress on Acoustics. vol.3. 97-100 (1995)

M. Matsumura，：“使用 MRI 测量和分析声道、牙冠和鼻腔的 3D 形状”第 15 届国际声学大会。