実環境における音源分離と分離音認識を統合したロボット聴覚

集真实环境声源分离和分离声音识别于一体的机器人听觉

• 批准号: 05J50562
• 负责人: 山本 俊一
• 金额: $ 1.09万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-05J50562/
• 关键词: ロボット聴覚; 音源分離; 音声認識; ミッシングフィーチャ理論; 同時発話認識; 音源同定; 音源定位; 音オントロジー; 遺伝的アルゴリズム; 発話区間検出

1.リアルタイム同時発話認識システムの認識率向上と音声対話の実装これまでに開発したリアルタイム同時発話認識システムの認識率を向上させるために,高精度な音源定位手法であるMUSIC法の導入し,MFTのための特徴量の再検討を行った.また,本システムを利用した料理の同時注文認識や口じゃんけんなどの音声対話を実装してその有効性を確認した.2.ロボット聴覚の音源同定システムの開発実環境では様々な音が聞こえるので,汎用的なロボット聴覚システムを実現するためには,入力された音がどのような種類の音であるかを分類する音源同定システムが必要である.そのような音源同定システムを実現するために,階層的な音源モデルによる音源同定手法を開発し,ミッシングフィーチャ理論(MFT)によってノイズロバスト性を向上させた.(1)混合正規分布モデル(GMM)による階層的な音源モデルによる音源同定多様な音を認識するために,音オントロジーと呼ばれる音の階層的表現を行う場合,あらゆる音を表現できるようにすると非常に複雑な階層表現となる.しかし,これまでに開発されている音環境理解システム,たとえば音声認識,話者認識,楽器音認識などの技術を利用することができるので,音の階層表現の上位階層の部分についての分類を行うことができる音源同定手法の開発を行う.本研究では,音声,音楽,環境音などの音を階層的に表現し,それぞれをGMMによって音源モデルを構築した.そして,入力音に対して階層的な音源同定結果を得るシステムのプロトタイプを開発した.(2)MFTによるノイズへの対応実環境ではターゲットの音だけではなくさまざまなノイズが入力される.そのノイズに対応するためにMFTを導入することによりノイズロバスト性を向上させた.その同時発話認識のためのMFTの技術を本音源同定システムにも適用し,ノイズロバスト性を向上させた.

1. The introduction of MUSIC method for high-precision audio source localization, and the re-investigation of MFT characteristics. 2. The sound source identification of the sound source identification is necessary for the development of the sound source identification environment. The sound source identification method is developed according to the sound source identification theory (MFT). (1)Mixed Normal Distribution (GMM): The sound source of the hierarchy is the same as the sound source of the hierarchy. The development of sound environment understanding, sound recognition, speaker recognition, sound recognition technology utilization, sound hierarchy performance, upper level classification, sound source identification, etc. In this study, the performance of sound, music, and environmental music was studied. In addition, the input sound level of the sound source is determined as a result of the development of the system. (2) The MFT is designed for the environment, and the sound of the environment is not required. MFT is the most important way to improve the quality of products. At the same time, the technology of MFT is applied to the same system of sound source, and the characteristics of MFT are improved.

项目成果

Making A Robot Recognize Three Simultaneous Sentences in Real-Time

让机器人实时识别三个同时出现的句子

• 发表时间: 2005
• 期刊: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2005)
• 作者: Y.Kitamura;M.Kashiwase;M.Fuse;R.Mizoguchi;Shun'ichi Yamamoto
• 通讯作者: Shun'ichi Yamamoto

遺伝的アルゴリズムを用いたパラメータ最適化による話者位置に基づく同時発話認識の向上

使用遗传算法通过参数优化改进基于说话者位置的同步语音识别

• 发表时间: 2006
• 期刊: ヒューマンインタフェース学会論文誌 18・2
• 作者: Yasuo Koniyoshi;ea al.;Toru Ishida;山本 俊一 他
• 通讯作者: 山本 俊一 他

Enhanced Robot Speech Recognition Based on Microphone Array Source Separation and Missing Feature Theory

• DOI: 10.1109/robot.2005.1570323
• 发表时间: 2005-04
• 期刊: Proceedings of the 2005 IEEE International Conference on Robotics and Automation
• 作者: S. Yamamoto;J. Valin;K. Nakadai;J. Rouat;F. Michaud;T. Ogata;HIroshi G. Okuno

Leak Energy based Missing Feature Mask Generation for ICA and GSS and Its Evaluation with Simultaneous Speech Recognition

基于泄漏能量的 ICA 和 GSS 缺失特征模板生成及其同步语音识别评估

• 发表时间: 2006
• 期刊: Proceedings of ISCA Tutorial and Research Workshop on Statistical and Perceptual Audition (SAPA2006)
• 作者: Ozeki;J.;Takahashi;S.;Komatsu;K.;Kagiwada;S.;Yamashita;K.;Mori;T.;Hirata;H.;Yamaji;Y.;Ugaki;M.;Namba;S.;山本 俊一;山本 俊一;Shun'ichi Yamamoto;Shun'ichi Yamamoto;Shun'ichi Yamamoto;Shun'ichi Yamamoto
• 通讯作者: Shun'ichi Yamamoto

Multiple Moving Speaker Tracking by Microphone Array on Mobile Robot

移动机器人上麦克风阵列的多移动扬声器跟踪

• 发表时间: 2005
• 期刊: Proceedings of the Nineth European Conference on Speech Communication and Technology (Interspeech-2005)
• 作者: 浅田稔;國吉康夫;Masamitsu Murase
• 通讯作者: Masamitsu Murase