人間の聴覚特性を考慮した残響・雑音環境下における音声信号処理の研究

考虑人耳听觉特性的混响噪声环境下音频信号处理研究

• 批准号: 18J20059
• 负责人: 李 莉
• 金额: $ 1.79万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J20059/
• 关键词: 多チャネル音源分離; 音声強調; 多チャネル変分自己符号化器; 独立ベクトル分析; 深層学習; 音響信号処理; モノラル音声強調; 非負値行列因子分解

本研究では，人間の聴覚上かつ機械の認識上の両方において，高品質な音源分離システムの構築を最終的な目標としており，信号処理・機械学習・聴覚にまたがる数理モデルの構築と拡張を行った．最終年度では，主に以下の研究課題に取り組んだ．1．昨年度までに提案した多チャンネル音源分離手法である多チャンネル変分自己符号化器法の高速アルゴリズム（FastMVAE法）の改良を行い，従来のFastMVAE法における未知データに対する性能劣化の問題を改善し，より高精度かつ高速なアルゴリズムを開発した．その結果はIEEE Accessに掲載された．本研究はIEEE Signal Processing Society Japan Chapterにより高く評価され，Student Conference Paper Awardを受賞した．2．実験データを増やして，初年度に進めた非負値行列因子分解に基づく音声強調手法である識別的非負値行列因子分解（DNMF）の性能および動作を確認した．その結果をまとめた論文はIEEE Accessに掲載された．3．昨年度に補助関数法を用いた独立ベクトル分析（AuxIVA）と呼ぶ多チャンネルブラインド音源分離手法にマイクと話者の空間情報を利用した幾何的正則化を取り入れたGCIVAを提案した．本年度は，実用化アプリケーションに向けて，提案手法のオンラインアルゴリズムの開発を行い，提案手法はリアルタイム処理で高性能な音声強調を行えることをシミュレーション実験で検証した．その結果をまとめた論文をトップカンファレンスであるINTERSPEECH2020で発表した．また，実環境における提案法の有効性も車室内で録音したデータにより検証した．4．実用アプリケーションを目指し，AuxIVAおよびGCIVAのオンラインアルゴリズムを小型パソコンJetson Nanoに実装し，動作を確認した．

In this study, human-to-human mechanical equipment is used to find out that the source of high-quality sound is separated from the most popular equipment, signal mechanics, mathematics, physics, mathematics, mathematics, physics, mathematics, mathematics, science, science and technology The following research topics are selected from the organization. 1. Last year, we proposed that the sound source separation method be divided into its own symbolizer method, high-speed transmission strategy (FastMVAE method), and improved performance improvement of the FastMVAE method. The high-precision high-speed transmission equipment is used to switch on and off. The results show that IEEE Access performance is effective. In this study, IEEE Signal Processing Society Japan Chapter is highly sensitive to high-speed transmission, while Student Conference Paper Award is subject to poor performance. In the beginning of the year, non-linear linear factor decomposition (DNMF) was used to improve the performance of sound intensity analysis (DNMF). The results show that there is a significant difference between the two groups. 3. Yesterday's annual statistical analysis was performed using independent statistical analysis (AuxIVA). Source separation method is used to identify customers. Space information is used to regularize access to the GCIVA proposal. This year's meeting In order to improve the quality of the business, the method of proposal was used. The sound of the high-performance voice of the proposal was improved. The sound of the high-performance voice of the proposal was strong. The results showed that the text of the proposal was not valid. The table of INTERSPEECH2020. The proposed law on environmental protection has some information. 4. Use the indoor sound equipment to make sure that the GCIVA equipment is installed. 4. Make sure that you can make sure that you are aware that the Jetson Nano equipment is not installed in the environment.

项目成果

一般化指令応答モデルを用いた変分自己符号化器に基づく歌唱F0パターンの生成

使用广义命令响应模型基于变分自动编码器生成歌唱 F0 模式

• 发表时间: 2020
• 作者: Kana Goto;Li Li;Riki Takahashi;Shoji Makino;Takeshi Yamada;Yuuki Shimizu;多賀遥香，関翔悟，李莉，武田一哉，戸田智基
• 通讯作者: 多賀遥香，関翔悟，李莉，武田一哉，戸田智基

多チャンネル変分自己符号化器を用いた劣決定音源分離

使用多通道变分自动编码器进行欠定声源分离

• 发表时间: 2019
• 作者: Shota Inoue;Li Li;Hirokazu Kameoka;and Shoji Makino;Yuuki Shimizu;李莉，亀岡弘和，牧野昭二;清水雄貴;清水雄貴;関翔悟，亀岡弘和，李莉，戸田智基，武田一哉
• 通讯作者: 関翔悟，亀岡弘和，李莉，戸田智基，武田一哉

車室内の三角マイクロフォンアレイへのヴァーチャルマイクロフォン技術の適用

虚拟麦克风技术在汽车内饰三角麦克风阵列中的应用

• 发表时间: 2021
• 作者: 瀬川華子;髙橋理希;李莉;陣在遼河;牧野昭二;山田武志
• 通讯作者: 山田武志

Joint separation and dereverberation of reverberant mixtures with multichannel variational autoencoder

使用多通道变分自动编码器进行混响混合物的联合分离和去混响

• 发表时间: 2019
• 作者: S. Inoue;H. Kameoka;L. Li;S. Seki;and S. Makino
• 通讯作者: and S. Makino

車室内環境を想定したWave-U-Netによる雑音除去の検討

假设车辆内部环境，考虑使用 Wave-U-Net 去除噪声

• 发表时间: 2021
• 作者: 樋口隼太;李莉;井上翔太;牧野昭二;山田武志
• 通讯作者: 山田武志