Computational Auditory Scene Analysis Using Active Audio-Visual Integration in a Dynamically Changing Environment

在动态变化的环境中使用主动视听集成进行计算听觉场景分析

• 批准号: 22700165
• 负责人: NAKADAI Kazuhiro
• 金额: $ 2.58万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22700165/
• 关键词: センサ融合; 統合(ロボット聴覚,アクティブ視聴覚統合,アクティブ聴覚,視聴覚音声認識,視聴覚発話区間検出); ロボット聴覚; アクティブ視聴覚統合; アクティブ聴覚; 視聴覚音声認識; 視聴覚発話区間検出; 視聴覚統合; 音声認識; 発話区間検出; 音源同定; 雑音抑圧; ソフトウェアアーキテクチャ; 信頼度付特徴量

A framework for Audio-Visual Integration (AVI), which can provide optimal integration according to quality of audio and visual information obtained from a robot’s camera and microphone, was proposed and implemented. In addition, the proposed framework was extended by proposing “Active Audio Visual Integration (AAVI)”, which improves the quality of audio and visual information using active robot ’ s motion. Preliminary experiments on automatic speech recognition and voice activity detection showed that the AAVI framework worked effectively even in visually and/or auditorily noisy conditions.

提出并实现了一种基于机器人摄像头和麦克风的音视频融合框架。此外，该框架被扩展，提出了“主动视听集成（AAVI）”，它提高了质量的音频和视频信息使用主动机器人的运动。自动语音识别和语音活动检测的初步实验表明，AAVI框架有效地工作，即使在视觉和/或嘈杂的条件。

项目成果

Active Audio-Visual Integration for Voice Activity Detection based on A Causal Bayesian Network

基于因果贝叶斯网络的主动视听集成语音活动检测

• 发表时间: 2012
• 作者: Takami Yoshida;Kazuhiro Nakadai
• 通讯作者: Kazuhiro Nakadai

SLAMに基づく非同期分散マイクロホンアレイのキャリブレーションの評価,

基于SLAM的异步分布式麦克风阵列标定评估，

• 发表时间: 2011
• 作者: 三浦弘樹;吉田尚水;中村圭佑;中臺一博
• 通讯作者: 中臺一博

Assessment of General Applicability of Ego Noise Estimation-Applications to Automatic Speech Recognition and Sound Source Localization-

自我噪声估计的一般适用性评估-在自动语音识别和声源定位中的应用-

• 发表时间: 2011
• 作者: G. Ince;K. Nakamura;F. Asano;H. Nakajima;K. Nakadai
• 通讯作者: K. Nakadai

Audio-visual speech recognition system for a robot

机器人视听语音识别系统

• 发表时间: 2010
• 作者: T. Yoshida;K. Nakadai
• 通讯作者: K. Nakadai

An Active Audition Framework for Auditory-driven HRI: Application to Interactive Robot Dancing

听觉驱动 HRI 的主动试听框架：在交互式机器人舞蹈中的应用

• DOI: 10.1109/roman.2012.6343892
• 发表时间: 2012
• 期刊: Proceedings of International Workshop on Robot and Human Interaction (Ro-Man-2012),
• 作者: Joao Lobato Oliveira;Gokhan Ince;Keisuke Nakamura;Kazuhiro Nakadai;Hiroshi G. Okuno;Luis Paulo Reis;Fabien Gouyon
• 通讯作者: Fabien Gouyon