Development of emotion recognition system by transfer learning for various speeches

点击翻译按钮获取中文摘要

本年度は音声感情認識に関し以下の２点について検討した．1.言語的特徴および音響的特徴による感情認識の結果統合2.OGVC(オンラインゲームチャットコーパス)を対象とした音声認識1.について，従来我々は音声認識結果を深層学習モデルの一種であるBERTに入力し感情を認識する言語特徴を用いた方法と，音響特徴から時系列や統計量を用いて認識する２種類の出力を重み付き統合する方法を検討してきた．今回は２種類の特徴をディープニューラルネットワークで統合する方法を検討し，より高い性能を得ることができた．システムの概要としては，言語的特徴抽出のため，まず感情音声の音声認識を行い得られた誤りを含む音声認識結果を用いBERTで感情認識を行い4種類の感情に対する事後確率を得る．一方音響的特徴については，発話全体から各種特徴の統計量を得て認識する手法と，LSTMやGRUなどの時系列を表現できる深層学習モデルを用いて感情認識を行い，同様に事後確率を得る．その両者を統合してDNNに入力し最終的な認識結果を得る．日本語感情コーパスJTESを対象に評価を行った結果，4感情の識別タスクにおいて従来法では80.25%であったが提案法では82.25%を得ることができた．2.についてOGVCを対象に音声認識の検討を行い言語モデル適応が有効であることを示した．音響モデルにはJTESで適応したモデルを使用し，言語モデルはツイート文に適応したモデル，OGVCに適応したモデル，更にはツイート適応モデルを更にOGVCで適応したモデルの３種類を比較した．この結果いずれの方法も性能向上が得られることが分かったが，特にツイート適応が有効であることが分かった．