Development of emotion recognition system by transfer learning for various speeches

通过各种语音的迁移学习开发情感识别系统

基本信息

  • 批准号:
    22K12087
  • 负责人:
  • 金额:
    $ 2.58万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2022
  • 资助国家:
    日本
  • 起止时间:
    2022-04-01 至 2025-03-31
  • 项目状态:
    未结题

项目摘要

本年度は音声感情認識に関し以下の2点について検討した.1.言語的特徴および音響的特徴による感情認識の結果統合2.OGVC(オンラインゲームチャットコーパス)を対象とした音声認識1.について,従来我々は音声認識結果を深層学習モデルの一種であるBERTに入力し感情を認識する言語特徴を用いた方法と,音響特徴から時系列や統計量を用いて認識する2種類の出力を重み付き統合する方法を検討してきた.今回は2種類の特徴をディープニューラルネットワークで統合する方法を検討し,より高い性能を得ることができた.システムの概要としては,言語的特徴抽出のため,まず感情音声の音声認識を行い得られた誤りを含む音声認識結果を用いBERTで感情認識を行い4種類の感情に対する事後確率を得る.一方音響的特徴については,発話全体から各種特徴の統計量を得て認識する手法と,LSTMやGRUなどの時系列を表現できる深層学習モデルを用いて感情認識を行い,同様に事後確率を得る.その両者を統合してDNNに入力し最終的な認識結果を得る.日本語感情コーパスJTESを対象に評価を行った結果,4感情の識別タスクにおいて従来法では80.25%であったが提案法では82.25%を得ることができた.2.についてOGVCを対象に音声認識の検討を行い言語モデル適応が有効であることを示した.音響モデルにはJTESで適応したモデルを使用し,言語モデルはツイート文に適応したモデル,OGVCに適応したモデル,更にはツイート適応モデルを更にOGVCで適応したモデルの3種類を比較した.この結果いずれの方法も性能向上が得られることが分かったが,特にツイート適応が有効であることが分かった.
This year, the following two points are related to the understanding of sound and emotion. 1. The characteristics of speech and the characteristics of sound. 2. OGVC A method of integrating the two kinds of efforts is discussed. The method of integrating the two kinds of efforts is used to study the speech characteristics of the two kinds of speech characteristics. This is the first time I've ever seen such a thing. A summary of speech characteristics is extracted from speech, and the results of speech recognition are obtained by using BERT. The characteristics of a party sound are related to each other, and the whole speech is related to the statistical quantity of various characteristics. The method of understanding, the LSTM and GRU time series performance, the deep learning, the application, the emotional recognition, the same post-validation rate are obtained. The final result of the study was obtained. Japanese emotion JTES target evaluation line results, 4 emotion recognition line 80.25% The sound of the sound is not only suitable for the use of the sound, but also suitable for the use of the sound. The result is that the performance of the method is upward.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
深層学習モデルを用いた言語特徴と音響特徴の後期融合による音声感情認識
使用深度学习模型通过后期融合语言特征和声学特征进行语音情感识别
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Daiki Akiyama;Tomio Goto;杉尾達也,小篠裕子;岡田純京,小篠裕子;城所悠太,新田直子,中村和晃,馬場口登;佐藤清秀,岸恵太,小坂哲夫
  • 通讯作者:
    佐藤清秀,岸恵太,小坂哲夫
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

小坂 哲夫其他文献

Unsupervised Cross Adaptation Using Deep Neural Networks in Speech Recognition Systems
在语音识别系统中使用深度神经网络的无监督交叉适应
Business Application for Sales Transaction Data by Using Genome Analysis Technology
利用基因组分析技术进行销售交易数据的商业应用
Noisy speech recognition with discrete-mixture HMMs based on MAP estimation
基于 MAP 估计的离散混合 HMM 噪声语音识别
  • DOI:
  • 发表时间:
    2004
  • 期刊:
  • 影响因子:
    0
  • 作者:
    T.Kosaka;M.Katoh;M.Kohda;小坂哲夫;阿部拓也;小坂哲夫;阿部拓也;小坂哲夫;加藤 正治;阿部 拓也;松本 和樹;小坂 哲夫;小坂 哲夫;T.Kosaka
  • 通讯作者:
    T.Kosaka
オープンソース知識発見システム:MUSASHI
开源知识发现系统:MUSASHI
離散混合出力分布型HMMによる雑音下音声認識のMFCCでの評価
在 MFCC 上使用离散混合输出分布型 HMM 评估噪声中的语音识别
  • DOI:
  • 发表时间:
    2005
  • 期刊:
  • 影响因子:
    0
  • 作者:
    T.Kosaka;M.Katoh;M.Kohda;小坂哲夫;阿部拓也;小坂哲夫;阿部拓也;小坂哲夫;加藤 正治;阿部 拓也;松本 和樹;小坂 哲夫
  • 通讯作者:
    小坂 哲夫

小坂 哲夫的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似海外基金

ハイパースペクトラルイメージングと深層学習を用いた皮膚病変鑑別システムの開発
利用高光谱成像和深度学习开发皮肤病变判别系统
  • 批准号:
    24K15777
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
深層学習を用いた超音波画像からのSPIDDM診断支援システムの開発
使用深度学习从超声图像开发 SPIDDM 诊断支持系统
  • 批准号:
    24K15775
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
深層学習を用いた拡散テンソル画像による腰椎疾患における疼痛の自動診断システム
基于深度学习的弥散张量图像腰椎疾病疼痛自动诊断系统
  • 批准号:
    24K15787
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
幾何学的深層学習による非線形力学系のグレーボックスモデル化技術の創出
使用几何深度学习创建非线性动力系统灰盒建模技术
  • 批准号:
    24K15105
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
アナログ回路に基づく進化計算手法による深層学習モデルの最適化
基于模拟电路的进化计算方法优化深度学习模型
  • 批准号:
    24K15115
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
ダイナミクス情報を考慮した深層学習技術による天然変性タンパク質複合体構造予測
使用深度学习技术考虑动力学信息预测自然变性蛋白质复合物的结构
  • 批准号:
    24K15183
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
地域連携プログラミング初等教育における深層学習やVRを用いた対話的学習支援システム
区域协作编程 在基础教育中使用深度学习和 VR 的交互式学习支持系统
  • 批准号:
    24K15230
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
深層学習とドローンを用いた温室トマトの株毎の生育データモニタリングシステム
使用深度学习和无人机的每个温室番茄植株的生长数据监测系统
  • 批准号:
    24K15072
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Developing and Visualising a Retrieval-Augmented Deep Learning Model for Population Health Management
开发和可视化用于人口健康管理的检索增强深度学习模型
  • 批准号:
    2905946
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Studentship
Navigating Chemical Space with Natural Language Processing and Deep Learning
利用自然语言处理和深度学习驾驭化学空间
  • 批准号:
    EP/Y004167/1
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Research Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了