マルチタスク深層学習における補助損失の動的制御と音声コミュニケーションへの応用

多任务深度学习中辅助损失的动态控制及其在语音通信中的应用

• 批准号: 22K12105
• 负责人: 李 時旭
• 金额: $ 2.58万
• 依托单位: National Institute of Advanced Industrial Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12105/
• 关键词: 音声感情認識; 音声信号処理; 機械学習; パターン認識; 深層学習; 音声言語情報処理

本研究は、人間と機械の音声コミュニケーションにおいて、発話意図の正確な把握に不可欠な要素である非言語情報の高度処理を目的とする。非言語情報としては、話者の性別、年齢、意図、態度、感情などを処理対象とし、音声の観測特徴から多様な言語と非言語タスクに特定するdisentangledな表現(もつれを解いた表現)を抽出するため、マルチタスク学習における補助損失を動的に制御する手法の研究を行う。研究初年度として、複数の公開感情音声コーパスを整備し、共通的に使用することを進めた。日本語はJTES（Japanese Twitter-based Emotional Speech）を、英語は音声感情認識の学術分野で共通のベンチマークテストとして広く用いられるIEMOCAP（Interactive Emotional Dyadic Motion Capture )を用いた。まず、個別のコーパスで定義された分類から共通するカテゴリーを設定し、これらをドメイン敵対的学習(Domain-adversarial learning),マルチタスク学習（Multi-task learning）など、タスク以外の素性に着目する学習手法をためした。さらに、膨大な学習データから自己教師付き学習(Self-supervised learning; SSL)による事前学習モデルを用いる予備実験を当初の研究計画に追加し、事前学習モデルの特性を把握するためのgrid-searchを主に行った。結果として、事前学習モデルの違う傾向を確認し、その究明を進めることが研究初年度の主な研究内容であった。特に、自己教師付き学習による事前学習モデルの高性能かつ新たな特性を分析し、本研究課題への融合を研究課題として挙げることが出来た。

は, this study human と mechanical の sounds コ ミ ュ ニ ケ ー シ ョ ン に お い て, 発 words meaning 図 の な grasp に not owe な elements で あ る nonverbal intelligence の highly 処 Richard を purpose と す る. Nonverbal intelligence と し て は, words の 齢 gender, years, meaning 図, attitudes, feelings な ど を 処 reason like と seaborne し, sounds の 観 measuring te 徴 か ら many others words な と nonverbal タ ス ク に specific す る disentangled な performance (も つ れ を solution い た) を spare す る た め, マ ル チ タ ス ク learning に お け る subsidies loss を royal す に system Youdaoplaceholder0 technique る study を line う. In the first year of the study, と て て, plural <s:1> public emotional sounds コ, パスを preparation パスを, common に use する, する, とを into めた. Japanese で JTES (Japanese Twitter-based Emotional Speech) を, English られる auditory emotion recognition <s:1> academic division で common <s:1> ベ ベ チ ベ テストと テストと テストと て て て common く use を られるIEMOCAP (Interactive Emotional Dyadic Motion Capture)を uses を た. ま ず, individual の コ ー パ ス で definition さ れ た classification か ら common す る カ テ ゴ リ ー を set し, こ れ ら を ド メ イ ン enemy of seaborne learning (Domain - adversarial learning), マ ル チ タ ス ク learning (Multi - task In addition to な and タス <s:1>, に is an objective of する learning methods をため た た. さ ら に, expands な デ ー タ か ら their teachers pay き learning (Self - supervised learning; SSL) に よ る prior learning モ デ ル を with い る reserve be 験 を の original research projects に additional し, prior learning モ デ ル の features を grasp す る た め の grid - search を main line に っ た. Results と し て, prior learning モ デ ル の violations う tendency を confirm し, そ の investigate Ming を into め る こ と が study early annual の main な content で あ っ た. に, his teacher pay き に study よ る prior learning モ デ ル の high-performance か つ new た な characteristics し を analysis, this research topic へ を の fusion research topic と し て 挙 げ る こ と が た.

项目成果

Frame-Level Matching Scheme Using Posteriorgram Probability Distance of Spoken Data to Improve Search Accuracy of Spoken Term Detection

利用口语数据后验图概率距离的帧级匹配方案提高口语检测的搜索精度

• 发表时间: 2022
• 作者: Minakawa Reo;Kojima Kazunori;Lee Shi-wook;Itoh Yoshiaki
• 通讯作者: Itoh Yoshiaki

音声中の音声検索語検出におけるフレーム圧縮手法および複数の深層学習モデルのスコア統合による検索精度・検索速度・メモリ量の改善

利用帧压缩技术和多个深度学习模型的分数集成来检测语音中的语音搜索词，提高搜索精度、搜索速度和内存容量

• 发表时间: 2022
• 作者: 畠山和望;小嶋和徳;李 時旭;伊藤慶明
• 通讯作者: 伊藤慶明

音声中の音声検索語検出における音声データの最尤および上位の状態系列の利用による検索精度向上

在语音搜索词检测中使用语音数据的最大似然和上状态序列来提高搜索精度

• 发表时间: 2022
• 作者: 皆川玲緒;小嶋和徳;李 時旭;伊藤慶明
• 通讯作者: 伊藤慶明