マルチタスク深層学習における補助損失の動的制御と音声コミュニケーションへの応用

点击翻译按钮获取中文摘要

本研究は、人間と機械の音声コミュニケーションにおいて、発話意図の正確な把握に不可欠な要素である非言語情報の高度処理を目的とする。非言語情報としては、話者の性別、年齢、意図、態度、感情などを処理対象とし、音声の観測特徴から多様な言語と非言語タスクに特定するdisentangledな表現(もつれを解いた表現)を抽出するため、マルチタスク学習における補助損失を動的に制御する手法の研究を行う。研究初年度として、複数の公開感情音声コーパスを整備し、共通的に使用することを進めた。日本語はJTES（Japanese Twitter-based Emotional Speech）を、英語は音声感情認識の学術分野で共通のベンチマークテストとして広く用いられるIEMOCAP（Interactive Emotional Dyadic Motion Capture )を用いた。まず、個別のコーパスで定義された分類から共通するカテゴリーを設定し、これらをドメイン敵対的学習(Domain-adversarial learning),マルチタスク学習（Multi-task learning）など、タスク以外の素性に着目する学習手法をためした。さらに、膨大な学習データから自己教師付き学習(Self-supervised learning; SSL)による事前学習モデルを用いる予備実験を当初の研究計画に追加し、事前学習モデルの特性を把握するためのgrid-searchを主に行った。結果として、事前学習モデルの違う傾向を確認し、その究明を進めることが研究初年度の主な研究内容であった。特に、自己教師付き学習による事前学習モデルの高性能かつ新たな特性を分析し、本研究課題への融合を研究課題として挙げることが出来た。