音声と顔画像の融合解析に基づく対話型人物認識システムに関する研究

点击翻译按钮获取中文摘要

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法は4本のマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出するため、話者依存型整合フィルタを考案し、10名の成人男子により話者照合実験を行い、有効性を明らかにした。2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、色空間より口唇部の位置を推定する。被験者10名の顔画像を用いて口唇位置推定実験を行い、100%の識別結果が得られた。連続音声中の口唇形状が、顔画像の正規化に有効であることが示された。3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む音道形状の精密測定に成功し、摩擦子音発声時の音道形状データを得ることができた。また、音声言語の明瞭度を決定する舌-口蓋接触応力の計測、鼻咽喉閉鎖強度の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析に基づく音声分析により個人識別に有効な特徴量が得られることを示した。