Development of emotion recognition system by transfer learning for various speeches

通过各种语音的迁移学习开发情感识别系统

• 批准号: 22K12087
• 负责人: 小坂 哲夫
• 金额: $ 2.58万
• 依托单位: Yamagata University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12087/
• 关键词: 音声感情認識; 深層学習; 感情音声コーパス; 言語モデル適応; 音声認識; 転移学習

本年度は音声感情認識に関し以下の２点について検討した．1.言語的特徴および音響的特徴による感情認識の結果統合2.OGVC(オンラインゲームチャットコーパス)を対象とした音声認識1.について，従来我々は音声認識結果を深層学習モデルの一種であるBERTに入力し感情を認識する言語特徴を用いた方法と，音響特徴から時系列や統計量を用いて認識する２種類の出力を重み付き統合する方法を検討してきた．今回は２種類の特徴をディープニューラルネットワークで統合する方法を検討し，より高い性能を得ることができた．システムの概要としては，言語的特徴抽出のため，まず感情音声の音声認識を行い得られた誤りを含む音声認識結果を用いBERTで感情認識を行い4種類の感情に対する事後確率を得る．一方音響的特徴については，発話全体から各種特徴の統計量を得て認識する手法と，LSTMやGRUなどの時系列を表現できる深層学習モデルを用いて感情認識を行い，同様に事後確率を得る．その両者を統合してDNNに入力し最終的な認識結果を得る．日本語感情コーパスJTESを対象に評価を行った結果，4感情の識別タスクにおいて従来法では80.25%であったが提案法では82.25%を得ることができた．2.についてOGVCを対象に音声認識の検討を行い言語モデル適応が有効であることを示した．音響モデルにはJTESで適応したモデルを使用し，言語モデルはツイート文に適応したモデル，OGVCに適応したモデル，更にはツイート適応モデルを更にOGVCで適応したモデルの３種類を比較した．この結果いずれの方法も性能向上が得られることが分かったが，特にツイート適応が有効であることが分かった．

This year, the following two points are related to the understanding of sound and emotion. 1. The characteristics of speech and the characteristics of sound. 2. OGVC A method of integrating the two kinds of efforts is discussed. The method of integrating the two kinds of efforts is used to study the speech characteristics of the two kinds of speech characteristics. This is the first time I've ever seen such a thing. A summary of speech characteristics is extracted from speech, and the results of speech recognition are obtained by using BERT. The characteristics of a party sound are related to each other, and the whole speech is related to the statistical quantity of various characteristics. The method of understanding, the LSTM and GRU time series performance, the deep learning, the application, the emotional recognition, the same post-validation rate are obtained. The final result of the study was obtained. Japanese emotion JTES target evaluation line results, 4 emotion recognition line 80.25% The sound of the sound is not only suitable for the use of the sound, but also suitable for the use of the sound. The result is that the performance of the method is upward.

项目成果

深層学習モデルを用いた言語特徴と音響特徴の後期融合による音声感情認識

使用深度学习模型通过后期融合语言特征和声学特征进行语音情感识别

• 发表时间: 2023
• 作者: Daiki Akiyama;Tomio Goto;杉尾達也，小篠裕子;岡田純京，小篠裕子;城所悠太，新田直子，中村和晃，馬場口登;佐藤清秀，岸恵太，小坂哲夫
• 通讯作者: 佐藤清秀，岸恵太，小坂哲夫