音声および顔情報の融合解析に基づく対話型人物認識システムに関する研究

基于语音与面部信息融合分析的交互式人物识别系统研究

• 批准号: 06780358
• 负责人: 松村 雅史
• 金额: $ 0.64万
• 依托单位: Osaka Electro-Communication University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-06780358/
• 关键词: 視聴覚融合; 音源定位; 適応フィルタ; カラー顔画像; HSI変換; 声道形状; 鼻腔形状; 口唇

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法はマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出する適応フィルタを開発し、周囲雑音中より話者の発生音抽出のS/Nを向上させた。2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、カラー顔画像のHSI変換により口唇部の位置を推定する。被験者6名の顔画像を用いて口唇位置推定実験を行った結果、100%の識別結果が得られた。3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む声道形状の精密測定に初めて成功し、摩擦子音声時の声道形状データを得ることができた。また、子音の明瞭度を決定する舌-口蓋接触面の垂直応力の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析より得られた特徴量が、個人識別に有効なパラメータであることを示した。

This study で は, voice の personal 徴 と 発 when の yan の, 徴 を high precision で drew し, 総 あ る い は sentaku に transfer し, end を operation す る characters を know す る シ ス テ ム の open 発 を research purpose と す る. Specific に は, plural の 覚 セ ン サ と sound セ ン サ を set し た depending on hearing fusion セ ン シ ン グ シ ス テ ム の 発, sounds generation process analytical に の base づ く personal intelligence の spare を research purpose と す る. The research results are and である. 1. Depending on the hearing fusion セ ン シ ン グ シ ス テ ム の 発 : open end に plural の ビ デ オ カ メ ラ と マ イ ク ロ ホ ン を set し た depending on hearing fusion セ ン シ ン グ シ ス テ ム を open 発 す る. Youdaoplaceholder0, 4 copies of <s:1> ロホ ロホ ロホ を を using the position of the て sound source (lips) <s:1> to infer that を is in line う, を is used to publish た. This technique は マ イ ク ロ ホ ン と audio と の の distance difference に with う signal の bit differ を マ イ ク ロ ホ ン signal の mutual phase masato masato number よ り presumption し with fixed position, audio を す る. The end ら is 50cm away from the れた sound source position を with an error of less than 2.4cm で. It is presumed that the する とに とに とに is successful and the た is た. Time に sound source location が already know で あ る occasions, zhou 囲 を 雑 notes contain む マ イ ク ロ ホ ン signal か ら audio signal を spare す る optimum 応 フ ィ ル タ を open 発 し, zhou 囲 雑 chords よ り words の 発 pitch extraction の S/N を upward さ せ た. 2. Youdaoplaceholder0 カラ facial portrait による lip position <s:1> presumption :カラ カラ facial portrait よ large lip <s:1> position を presumption する technique を proposal た た. This technique で は oral が muscle の color よ り red み が か っ て い る point に mesh し, カ ラ ー yan portrait の HSI variations in に よ り oral department の position を presumption す る. The <s:1> facial portraits of the six subjects を the position of their lips was used to infer the を line った result of the actual experiment, and the 100% <s:1> recognition result が obtained られた. 3. The sounds of the generation process analytical に の base づ く personal intelligence の drew: method of 気 magnetic resonance image (MRI) に よ り 歯 crown を む track shape precision measuring に の initial め て し success, friction when consonants sound の vocal tract shape デ ー タ を must る こ と が で き た. Youdaoplaceholder0, the clarity of the consonant <s:1> を determines the success of the に measurement of the vertical 応 force <e:1> of the する globo-mouth cover contact surface <e:1>, and the た た. さ ら に track and び の nasal cavity acoustics characteristic を presumption し, be sounds の analysis results agree と す る こ と, こ の よ う な sounds generation process analytical よ の り have ら れ た が 徴 quantity, personal identification に have sharper な パ ラ メ ー タ で あ る こ と を shown し た.

项目成果

松村雅史: "カセンサー体型人工口蓋床による舌-口蓋接触面の垂直応力分布の計測" 電気学会論文誌(C). 114-C. 1073-1077 (1994)

Masashi Matsumura：“使用 Cassensor 型人工腭底测量舌腭接触面的垂直应力分布”，日本电气工程师学会汇刊 (C) 114-C 1073-1077 (1994)。

松村雅史: "MRIによる歯冠部を含む声道と鼻腔の3次元形状の計測" 電気学会論文誌(C). 114-C. 1067-1072 (1994)

Masashi Matsumura：“使用 MRI 测量声道和鼻腔（包括牙冠）的三维形状”，日本电气工程师学会汇刊 (C) 114-1072 (1994)。

吉田正樹: "手の運動機能を取り入れたディジタル制御方式にる筋電義手の開発" バイオメカニズム. 12. 303-311 (1994)

Masaki Yoshida：“使用结合手部运动功能的数字控制系统开发肌电假手”生物机制。12. 303-311 (1994)。