Development of emotion recognition system by transfer learning for various speeches

通过各种语音的迁移学习开发情感识别系统

基本信息

  • 批准号:
    22K12087
  • 负责人:
  • 金额:
    $ 2.58万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2022
  • 资助国家:
    日本
  • 起止时间:
    2022-04-01 至 2025-03-31
  • 项目状态:
    未结题

项目摘要

本年度は音声感情認識に関し以下の2点について検討した.1.言語的特徴および音響的特徴による感情認識の結果統合2.OGVC(オンラインゲームチャットコーパス)を対象とした音声認識1.について,従来我々は音声認識結果を深層学習モデルの一種であるBERTに入力し感情を認識する言語特徴を用いた方法と,音響特徴から時系列や統計量を用いて認識する2種類の出力を重み付き統合する方法を検討してきた.今回は2種類の特徴をディープニューラルネットワークで統合する方法を検討し,より高い性能を得ることができた.システムの概要としては,言語的特徴抽出のため,まず感情音声の音声認識を行い得られた誤りを含む音声認識結果を用いBERTで感情認識を行い4種類の感情に対する事後確率を得る.一方音響的特徴については,発話全体から各種特徴の統計量を得て認識する手法と,LSTMやGRUなどの時系列を表現できる深層学習モデルを用いて感情認識を行い,同様に事後確率を得る.その両者を統合してDNNに入力し最終的な認識結果を得る.日本語感情コーパスJTESを対象に評価を行った結果,4感情の識別タスクにおいて従来法では80.25%であったが提案法では82.25%を得ることができた.2.についてOGVCを対象に音声認識の検討を行い言語モデル適応が有効であることを示した.音響モデルにはJTESで適応したモデルを使用し,言語モデルはツイート文に適応したモデル,OGVCに適応したモデル,更にはツイート適応モデルを更にOGVCで適応したモデルの3種類を比較した.この結果いずれの方法も性能向上が得られることが分かったが,特にツイート適応が有効であることが分かった.
This year, the following two points are related to the understanding of sound and emotion. 1. The characteristics of speech and the characteristics of sound. 2. OGVC A method of integrating the two kinds of efforts is discussed. The method of integrating the two kinds of efforts is used to study the speech characteristics of the two kinds of speech characteristics. This is the first time I've ever seen such a thing. A summary of speech characteristics is extracted from speech, and the results of speech recognition are obtained by using BERT. The characteristics of a party sound are related to each other, and the whole speech is related to the statistical quantity of various characteristics. The method of understanding, the LSTM and GRU time series performance, the deep learning, the application, the emotional recognition, the same post-validation rate are obtained. The final result of the study was obtained. Japanese emotion JTES target evaluation line results, 4 emotion recognition line 80.25% The sound of the sound is not only suitable for the use of the sound, but also suitable for the use of the sound. The result is that the performance of the method is upward.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
深層学習モデルを用いた言語特徴と音響特徴の後期融合による音声感情認識
使用深度学习模型通过后期融合语言特征和声学特征进行语音情感识别
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Daiki Akiyama;Tomio Goto;杉尾達也,小篠裕子;岡田純京,小篠裕子;城所悠太,新田直子,中村和晃,馬場口登;佐藤清秀,岸恵太,小坂哲夫
  • 通讯作者:
    佐藤清秀,岸恵太,小坂哲夫
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

小坂 哲夫其他文献

Unsupervised Cross Adaptation Using Deep Neural Networks in Speech Recognition Systems
在语音识别系统中使用深度神经网络的无监督交叉适应
Business Application for Sales Transaction Data by Using Genome Analysis Technology
利用基因组分析技术进行销售交易数据的商业应用
Noisy speech recognition with discrete-mixture HMMs based on MAP estimation
基于 MAP 估计的离散混合 HMM 噪声语音识别
  • DOI:
  • 发表时间:
    2004
  • 期刊:
  • 影响因子:
    0
  • 作者:
    T.Kosaka;M.Katoh;M.Kohda;小坂哲夫;阿部拓也;小坂哲夫;阿部拓也;小坂哲夫;加藤 正治;阿部 拓也;松本 和樹;小坂 哲夫;小坂 哲夫;T.Kosaka
  • 通讯作者:
    T.Kosaka
オープンソース知識発見システム:MUSASHI
开源知识发现系统:MUSASHI
離散混合出力分布型HMMによる雑音下音声認識のMFCCでの評価
在 MFCC 上使用离散混合输出分布型 HMM 评估噪声中的语音识别
  • DOI:
  • 发表时间:
    2005
  • 期刊:
  • 影响因子:
    0
  • 作者:
    T.Kosaka;M.Katoh;M.Kohda;小坂哲夫;阿部拓也;小坂哲夫;阿部拓也;小坂哲夫;加藤 正治;阿部 拓也;松本 和樹;小坂 哲夫
  • 通讯作者:
    小坂 哲夫

小坂 哲夫的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似海外基金

CAREER: Adaptive Deep Learning Systems Towards Edge Intelligence
职业:迈向边缘智能的自适应深度学习系统
  • 批准号:
    2338512
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Continuing Grant
CRII: OAC: A Compressor-Assisted Collective Communication Framework for GPU-Based Large-Scale Deep Learning
CRII:OAC:基于 GPU 的大规模深度学习的压缩器辅助集体通信框架
  • 批准号:
    2348465
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Standard Grant
Deep Learningを活用した超音波ガイドによる安全な静脈穿刺法の開発
利用深度学习的超声引导开发安全静脉穿刺方法
  • 批准号:
    24K13362
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
確率統計学を用いた深層学習モデルの汎化性能の解析
使用概率统计分析深度学习模型的泛化性能
  • 批准号:
    24KJ0933
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
嚥下障害診療における深層学習を用いた嚥下内視鏡検査AI診断補助システムの開発
利用深度学习开发吞咽内窥镜人工智能诊断支持系统来治疗吞咽困难
  • 批准号:
    24K12677
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
MFB: Better Homologous Folding using Computational Linguistics and Deep Learning
MFB:使用计算语言学和深度学习更好的同源折叠
  • 批准号:
    2330737
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Standard Grant
深層学習による膠原病肺の新規画像分類の確立
利用深度学习建立一种新的胶原病肺部图像分类方法
  • 批准号:
    24K11624
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
深層学習を活用した3次元CT-like血管壁MRI画像による頸動脈プラーク解析法の開発
利用深度学习,利用类 3D CT 血管壁 MRI 图像开发颈动脉斑块分析方法
  • 批准号:
    24K10834
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
胸膜肺実質線維弾性症の線維化を正確に捉える空間的深層学習モデルの構築
构建准确捕捉胸膜肺实质弹力纤维变性纤维化的空间深度学习模型
  • 批准号:
    24K10145
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
ハイパースペクトラルイメージングと深層学習を用いた皮膚病変鑑別システムの開発
利用高光谱成像和深度学习开发皮肤病变判别系统
  • 批准号:
    24K15777
  • 财政年份:
    2024
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了