权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

End-to-End Model for Task-Independent Speech Understanding and Dialogue

与任务无关的语音理解和对话的端到端模型

基本信息

批准号：
20H00602
负责人：
河原達也
金额：
$ 28.62万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H00602/
关键词：
音声理解音声対話音声認識 End-to-Endモデル

项目摘要

End-to-Endモデルに基づく汎用的な音声理解・対話に関して、音声認識の高度化の観点と対話生成の観点から各々以下の研究を実施した。まず、人間どうしの自然な話し言葉音声から、フィラーや言い誤りの削除・句読点や脱落した助詞の挿入・口語的な表現の修正などの適宜必要な編集を行いながら、直接可読性の高い書き言葉スタイルの文を出力するEnd-to-Endモデルを設計・構築した。その際に、音声に忠実な書き起こしを疑似的に復元してEnd-to-Endモデルの学習を補助する手法と、句読点位置を手がかりとした音声区分化手法も併せて提案し、各々の効果を示した。衆議院審議音声を用いた評価実験により、提案手法は音声認識とテキストベースの話し言葉スタイル変換を組み合わせたカスケード型のアプローチより高精度かつ高速に会議録テキストを生成できることを確認した。次に、ユーザの入力発話からシステムの応答を生成するEnd-to-End(Seq-to-Seq)モデルにおいて、感情認識を統合するとともに、応答から入力発話を復元するモデルも統合学習することで、文脈理解と感情認識を伴った応答生成の実現を図った。感情認識と検索型の応答を組み合わせることで、共感的な対話が実現できることを確認した。さらに、音声認識モデルにおける自己教師付き学習の導入についても検討し、音声認識と言語認識・ドメイン認識を同時にEnd-to-Endモデルで行い、かつ後者の認識結果を利用することで、音声認識の精度が改善されることを示した。

End-to-End communication is a fundamental part of sound understanding, communication, and communication. The natural language of speech, sound, speech, error, deletion, sentence point drop, auxiliary word entry, oral performance correction, appropriate and necessary compilation, implementation, direct accessibility, high quality, speech, text output, End-to-End design, construction. In addition, the method of learning and the method of dividing the sound area are shown in detail. The House of Representatives deliberated on the use of sound, comments, proposals, sound recognition, comments, comments, changes, changes, combinations, high-precision, high-speed, conference recording, generation, confirmation, etc. Second, the input force of the communication, the response generation, the End-to-End(Seq-to-Seq), the emotional recognition, the integration of the input force, the response, the integration of the learning, the context understanding, the emotional recognition, the response generation, the realization. The relationship between emotion and emotion is confirmed. In addition, the introduction of sound recognition and speech recognition, and the use of the latter's recognition results, the improvement of the accuracy of sound recognition.