ディープニューラルネットワークを用いる高効率適応学習の汎用的フレームワークの提案

提出使用深度神经网络进行高效自适应学习的通用框架

• 批准号: 15J02418
• 负责人: 落合 翼
• 金额: $ 1.79万
• 依托单位: Doshisha University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2015
• 资助国家: 日本
• 起止时间: 2015-04-24 至 2018-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15J02418/
• 关键词: 多チャンネルend-to-end音声認識; end-to-endモデルの話者・環境適応; 環境適応タスクにおける評価実験; モデル適応のオンライン化; ネットワーク構造の自動最適化; 線形変換ネットワークの導入; 行列ランクに基づいた分析; ボトルネック構造の導入

本研究課題は、ディープニューラルネットワーク(DNN)を用いた、対象問題を限定しない一般的な適応学習フレームワークの構築を目指すものである。本年度は、本研究課題のコンセプトである「DNNの内部に対する機能の集約・局在化」のアイデアを応用し、DNN自身に環境に対する適応能力を学習によって自動的に獲得させる方法論の提案を行った。提案手法では、本来ブラックボックスとして扱われるDNNの内部構造に対し、対象問題に対する事前知識（例えば、雑音下音声認識では雑音抑圧の機能が必要）を数式としてネットワークに組み込むことで、DNNの学習の方向性を誘導し、対象問題にとって望ましい機能をDNNの内部に獲得させることに成功した。本年度の研究成果として、大きく分けて以下の2つが挙げられる。（1）雑音抑圧機能を自動獲得するend-to-end音声認識モデル構造の提案。音声認識に関わる一連の手続きを、単一のDNNに基づいて構築するend-to-end音声認識モデルに対し、多チャンネル信号処理技術を数式としてネットワークの内部に組み込むことで、雑音抑圧機能を学習によって自動的に獲得するネットワーク構造の提案を行った。評価実験の結果、提案したend-to-end音声認識モデルは、雑音環境に対する高い適応能力を獲得し、雑音下音声認識において従来手法よりも高い認識性能を発揮することが確認された。（2）提案したend-to-end音声認識モデルに対するモデル適応技術の有効性の検証。本年度に提案したend-to-end音声認識モデルに対し、昨年度までに研究していたモデル適応技術を組み合わせることで、更なる認識性能の向上を得ることが出来ないか、評価実験を通してその有効性の検証を行った。評価実験の結果、提案手法を組み合わせることで、end-to-end音声認識モデルは更なる認識性能の向上を獲得することが確認された。

This research topic is aimed at the application of DNN and the limitation of image problems. This year, we will propose a methodology for the study of DNN's ability to adapt to its own environment, namely,"DNN's internal interaction function intensification and localization." The proposed method is to obtain prior knowledge of DNN's internal structure and image problems (e.g., sound recognition and sound suppression). This year's research results are as follows: (1) Proposal of end-to-end sound recognition structure for automatic acquisition of sound suppression function. Sound recognition related to a series of manual, single DNN base structure, end-to-end sound recognition, multi-channel signal processing technology, digital, multi-channel, multi-channel, multi- Evaluation of the results, proposals, end-to-end acoustic recognition, acoustic environment, high adaptive ability to obtain, acoustic recognition, high cognitive performance to develop (2) Demonstration of the effectiveness of the proposed end-to-end sound recognition technology. This year's proposal for end-to-end sound recognition is aimed at improving the performance of sound recognition and evaluation. Evaluation of the results, proposals and methods of combination, end-to-end sound recognition, improvement of recognition performance, and confirmation

项目成果

Speaker Adaptive Training Localizing Speaker Modules in DNN for Hybrid DNN-HMM Speech Recognizers

扬声器自适应训练 在 DNN 中为混合 DNN-HMM 语音识别器定位扬声器模块

• DOI: 10.1587/transinf.2016slp0010
• 发表时间: 2016
• 期刊: IEICE Transactions on Information and Systems
• 影响因子: 0.7
• 作者: Tsubasa Ochiai;Shigeki Matsuda;Hideyuki Watanabe;Xugang Lu;Chiori Hori;Hisashi Kawai;Shigeru Katagiri
• 通讯作者: Shigeru Katagiri

BOTTLENECK LINEAR TRANSFORMATION NETWORK ADAPTATION FOR SPEAKER ADAPTIVE TRAINING-BASED HYBRID DNN-HMM SPEECH RECOGNIZER

基于说话人自适应训练的混合 DNN-HMM 语音识别器的瓶颈线性变换网络自适应

• 发表时间: 2016
• 作者: Tsubasa Ochiai;Shigeki Matsuda;Hideyuki Watanabe;Xugang Lu;Hisashi Kawai;and Shigeru Katagiri
• 通讯作者: and Shigeru Katagiri

Multichannel End-to-end Speech Recognition

• 发表时间: 2017-03
• 作者: Tsubasa Ochiai;Shinji Watanabe;Takaaki Hori;J. Hershey

Unified Architecture for Multichannel End-to-End Speech Recognition With Neural Beamforming

• DOI: 10.1109/jstsp.2017.2764276
• 发表时间: 2017-10
• 期刊: IEEE Journal of Selected Topics in Signal Processing
• 影响因子: 7.5
• 作者: Tsubasa Ochiai;Shinji Watanabe;Takaaki Hori;J. Hershey;Xiong Xiao

線形変換ネットワークを用いて話者正規化学習されたDNNのためのボトルネック話者適応法の提案

提出使用线性变换网络通过说话人归一化训练的 DNN 的瓶颈说话人自适应方法

• 发表时间: 2016
• 作者: 落合翼;松田繁樹;渡辺秀行;Xugang Lu;河井恒;片桐滋
• 通讯作者: 片桐滋