音声認識・理解における韻律情報の利用

韵律信息在语音识别和理解中的使用

• 批准号: 12132203
• 负责人: 尾関 和彦
• 金额: $ 40.58万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12132203/
• 关键词: 句頭アクセント核; 仮説探索制御; 局所話速; 韻律係り受け解析; アクセント情報; 入力補完; 音声自動要約; 文重要度; アクセント句境界; n-グラム言語モデル; アクセント型認識; 重要文; N-gram言語モデル; 換算モーラ数; 韻律的係り受け解析; 隠れマルコフモデル; 講演音声自動要約; スペクトル包絡変動; 韻律句境界情報; 発話文係り受け解析; 講演音声要約

1.音声知覚における韻律の役割解明と音声認識への応用(1)句頭アクセント核の検出とそれに基づく仮説探索制御を実装した.単語アクセントは前後の環境により変化するが,句頭に核が存在した場合は,その単語は必ず一型となる.この規則の基づき,句頭のF0情報よりその語が一型となる事後確率を求め,韻律スコアを導入した.連続音声認識システムJuliusに本モジュールを実装し,大語彙連続音声認識におけるその有効性を示した.(2)音声の時間構造を,局所話速の分析を中心に,文内の文節継続長を決定する統計モデル,文節内のモーラ継続長制御モデル,モーラ内での子音継続時間長制御モデルの3階層でモデル化した.また,それぞれのモデルについて時間構造の知覚実験を行い,時間的制約について検討した.2.発話の構文・意味解析における韻律情報の利用(1)これまで利用した着目文節の直後のポーズと着目文節の直後の文節の直後のポーズに加えて,着目文節の直前のポーズを利用することにより,係り受け解析の精度が向上することを確認した.また,これらのポーズ情報にF0情報を加えることにより,さらなる解析精度の向上が得られた.(2)多数の話者による音声データを用いて不特定話者条件の係り受け解析実験を行った結果,ポーズ長とF0特徴量のモデルは従来より簡単なものでよいこと,ポーズ長は平均音節継続長で正規化した方が良いことなどがわかった.また,大量のコーパスを用いて評価文に対する被覆率が高い係り受け規則を新たに作成した.3.音韻情報と韻律情報を統合した音声認識・理解システムディクテーションシステムにおける入力補完候補の絞込みに,アクセント情報を利用する手法を開発した.また,アクセント情報の認識・ディクテーション・入力補完機能を統合した予測型音声入力システムを実装し,アクセント情報利用の有効性を検証した.4.韻律的特徴を用いた講演音声の自動要約重要文抽出によって講演音声の要約を自動生成するために,文単位と文重要度を韻律情報を利用して決定する手法について検討した.ポーズで区切られた発話単位境界に対し,文境界とすべきかどうかを判断する決定木を学習し94%の分類率を得た.文重要度の決定において,連続音声認識による誤りを含む言語情報奪利用する場合の方が,正しい言語情報を利用する場合よりも,韻律情報の効果が大きいことを示した.

1. Sound knowledge, rhythm, interpretation, sound recognition, application (1) sentence head, core, detection, basic, exploration, control, installation The environment before and after the sentence is changed, and the core of the sentence is present. The basic rules of the rule, the F0 information of the sentence head, the language, the type, the post-accuracy, the prosody, the introduction. Julius is the author of the book, and the author of the book is the author of the book. (2)The time structure of sound, the analysis of local speech speed, the determination of the length of the text section, the statistical analysis, the control of the length of the text section, the control of the length of the sub-sound in the text section, the control of the length of the sub-sound in the text section, the three levels of the analysis. 2. Use of prosodic information in speech structure and meaning analysis (1) Use of prosodic information in speech structure and meaning analysis (2) Use of prosodic information in speech structure and meaning analysis (3) Use of prosodic information in speech structure and meaning analysis (4) Use of prosodic information in speech structure and meaning analysis (5) Use of prosodic information in speech structure and meaning analysis (6) Use of prosodic information in speech structure and meaning analysis (7) Use of prosodic information in speech structure and meaning analysis (8) Use of prosodic information in speech structure and meaning analysis (9) Use of prosodic information in speech structure and meaning analysis (9) Use of prosodic information (9) Use of prosodic information (9) Use of prosodic The accuracy of the system analysis is improved. For example, if you want to know more about F0 information, you can add it to your analysis accuracy. (2)Most of the speakers are not specific to the speaker condition. The result of the analysis is that the length of the F0 feature is reduced to the length of the average syllable. The length of the average syllable is normalized. 3. Integration of phonological information and prosodic information; sound recognition and understanding; and development of methods for utilizing phonological information and prosodic information. 4. Prosody characteristics are used in speech sound automatic offer important text extraction, speech sound offer automatic generation, text position importance degree, prosody information utilization and determination. The classification rate was 94%. The determination of the importance of text, including the error of speech recognition, the use of speech information, the use of speech information, the effect of prosody information.

项目成果

Akira Inoue: "Prediction of sentence importance for speech summarization using prosodic parameters"Proc.of Eurospeech 2003. 1193-1196 (2003)

Akira Inoue：“使用韵律参数预测语音摘要的句子重要性”Proc.of Eurospeech 2003. 1193-1196 (2003)

Kazuyuki Takagi: "A neural network approach to dependency analysis of Japanese sentences using prosodic information"Proc.of Eurospeech 2003. 3177-3180 (2003)

Kazuyuki Takagi：“使用韵律信息对日语句子进行依存分析的神经网络方法”Proc.of Eurospeech 2003. 3177-3180 (2003)

中野信幸: "局所話速の算出方法の改良"日本音響学会2002年秋季研究発表会講演論文集. 3-10-11. 349-350 (2002)

Nobuyuki Nakano：“本地语音速度计算方法的改进”日本声学学会 2002 年秋季研究会议论文集 3-10-11（2002）。

Youichi Yamashita: "Stochastic FO contour model based on the clustering of FO shapes of a syntactic unit"Proceedings of 7th European Conference on Speech Communication and Technology. Vol.1. 533-536 (2001)

Youichi Yamashita：“基于句法单元 FO 形状聚类的随机 FO 轮廓模型”第七届欧洲语音通信与技术会议论文集。

Nobuaki Minematsu: "Quantitative analysis of FO-induced variations of cepstrum coefficients"Proceedings of ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 113-117 (2001)

Nobuaki Minematsu：“FO 引起的倒谱系数变化的定量分析”ISCA 语音识别和理解韵律教程和研究研讨会论文集。