微分幾何学に基づく音声認識モデル適応法の研究

基于微分几何的语音识别模型自适应方法研究

• 批准号: 12878056
• 负责人: 嵯峨山 茂樹
• 金额: $ 1.41万
• 依托单位: The University of Tokyo (2001)Japan Advanced Institute of Science and Technology (2000)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12878056/
• 关键词: 音声認識; 雑音環境対応; チャネル適応; 話者適応; ヤコビ行列; ケプストラム; 声道長; ロンバード効果; 雑音環境適応

隠れマルコフモデル(HMM)を用いた現代の音声認識技術では、雑音環境・回線・話者などの使用条件が変わると、しばしば大きな性能低下を起こす。その理由は、環境雑音のような加法性要因、マイクロフォンやアンプの特性などのような乗法性要因、さらに話者の相違のように複雑な要素が絡み合っている要因などにより、音声スペクトルが変形するからである。この現象にHMMを適志させる手法において、微分幾何学的な発想で、定式化、アルゴリズム開発、検証を行った。今年度の主な成果を以下に示す。1.微分幾何に基づく音声認識モデルの雑音、チャネル、声道長への同時適応音声認識の音響特徴量としてよく用いられるケプストラム(MFCCもその一種)は、スペクトルを変形させる加法性の要因である雑音スペクトルに対しては非線形な関係を持つ。雑音環境下での音声は、雑音(応力に相当)によってそのケプストラムが歪む。その局所的関係はヤコビ行列(応カテンソルに相当)で表される。これを「ヤコビ適応法」の名で発表して以来、高速で性能が高いことから、国外からも関連研究発表がなされている。今年度は、話者による声道長の相違を、未知の声道長比で表し、観測された特徴量との関係を微分的な観点で局所線形モデルの最小二乗法で未知変数を求めるアルゴリズムを提案した。音声認識実験により、性能が向上することを実証した。2.ピッチ周波数(F_0)を要因とした変形を組み込んだHMMピッチ周波数と音声スペクトル包絡の間には何らかの相関があることは知られている。これを、HMMの隠れ状態ごとの未知のパラメータを含む線形モデルとして解くと、それを推定するEMアルゴリズムとしてはMLLR(最尤線形回帰)法に類似し牟アルゴリズムが導かれる。この方法による認識性能の向上を音声認識実験で実証した。3.雑音、チャネル、Lombard効果発声変形への同時要因推定と適応高騒音下での発声はいわゆるLombard効果により発声変形する、これをスペクトルの周波数軸の非線形伸縮として少数の未知パラメータによりモデル化すると、観測されるケプストラムは微分量で表現でき、雑音、チャネルと併せて同時適応アルゴリズムが構成できる。実験により音声認識性能向上を実証した。

Modern sound recognition technology is used in the field of sound environment, loop and speaker. The reasons are: additive factors of environmental noise, additive factors of characteristics of sound, additive factors of legal factors, contradictory factors of speech, additive factors of complex factors, additive factors of sound, additive factors of sound, and variable factors of sound. This phenomenon is characterized by HMM adaptation, differential geometry development, formalization, development, and verification. The main achievements of this year are shown below. 1. Differential geometry is the basis for sound recognition of sound, sound, and acoustic characteristics of simultaneous sound recognition. Under the sound environment, the sound is opposite to the sound (the sound force is equivalent). The relationship between the company and the company is similar to that of the company. The name of " This year, the speaker's channel length is different, the unknown channel length ratio is different, the measured characteristic quantity is different, the differential point is different, the least square method is different, the unknown number is different, and the method is different. Sound recognition, performance and performance 2. Frequency (F_0) is the most important factor in the formation of frequency (F_0). The HMM state is unknown, and the MLLR(most linear regression) method is similar to the EM state estimation method. The method of recognition of performance and upward sound recognition is realized. 3. Sound, noise, Lombard effect, sound shape, and simultaneous important factors are estimated to be suitable for sound transmission at high frequencies. Non-linear expansion of the cyclic wavenumber axis of the sound transmission is estimated to be suitable for sound shape, sound, and Lombard effect. A small number of unknown factors are estimated to be suitable for sound transmission. The sound recognition performance is up.

项目成果

S.Sagayama, K.Shinoda, M.Nakai, H.Shinmodaira: "Analytic Methods for Acoustic Model Adaptation : A Review"Proceedings of ISCA Workshop on Adaptation Methods (Sophia Antipolice France), Aug 2001. (Invited Paper). 67-76 (2001)

S.Sagayama、K.Shinoda、M.Nakai、H.Shinmodaira：“声学模型适应的分析方法：综述”ISCA 适应方法研讨会论文集（法国 Sophia Antipolice），2001 年 8 月。（特邀论文）。

K.fujinaga, M.Nakai, H.Shimadaira, S.Sagayama: "Multiple-Regression Hidden Markov Model"Proceedings of ICASSP 2001. (2001)

K.fujinaga、M.Nakai、H.Shimadaira、S.Sagayama：“多重回归隐马尔可夫模型”ICASSP 2001 论文集。(2001)

H.Shimodaira, N.Sakai, M.Nakai, S.Sagayama: "Jacobian Joint Adaptation to Noise, Channel and Vocal Tract Length"Proceedings of ICASSP2002, Orlando, USA, May 2002. (2002)

H.Shimodaira、N.Sakai、M.Nakai、S.Sagayama：“雅可比联合适应噪声、声道和声带长度”ICASSP2002 会议记录，美国奥兰多，2002 年 5 月。（2002 年）

坂井 伸圭, 中井 満, 下平 博, 嵯峨山 茂樹: "ヤコビ適応法を用いた雑音環境・伝達特性・話者への同時適応"日本音響学会2001年秋季研究発表会講演論文集,3-1-21,, Oct. 133-134 (2001)

Nobukei Sakai、Mitsuru Nakai、Hiroshi Shimodaira、Shigeki Sagayama：“使用雅可比适应方法同时适应噪声环境、传递特性和扬声器”日本声学学会2001年秋季研究会议论文集，3-1 -21 ,, 十月 133-134 (2001)

加藤裕,赤江俊彦,中井満,下平博,嵯峨山茂樹: "ヤコビ適応法を用いた雑音環境と伝達特性への同時適応"日本音響学会2000年秋季研究発表会講演論文集,1-5-9. 17-18 (2000)

Yutaka Kato、Toshihiko Akae、Mitsuru Nakai、Hiroshi Shimodaira、Shigeki Sagayama：“使用雅可比适应方法同时适应噪声环境和传递特性”日本声学学会 2000 年秋季研究会议论文集，1-5-9 17-18（2000）