Development of Robot Audition based on Computational Auditory Scene Analysis

基于计算听觉场景分析的机器人试听开发

• 批准号: 19100003
• 负责人: OKUNO Hiroshi
• 金额: $ 76.38万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (S)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19100003/
• 关键词: ロボット聴覚; 音環境理解; マルチドメイン音声対話; 音楽共演ロボット; バージイン発話; 聴覚アウエアネス; アクティブオーディション; ロボットインタラクション; 身体性; 聖徳太子ロボット; 音源定位; 音源分離; 音声認識; バージン発話; 視聴覚情報統合; パーティクルフィルタ

Three main features of Computational Auditory Scene Analysis, sound source localization, sound source separation, and recognition of separated sounds, have been developed and their collections are made available as an open-sourced robot audition software called "HARK". As a proof of concepts in this robot audition, we developed "Prince Shotoku" robots that can listen to simultaneous talkers, and a spoken dialogue system that accepts a barge-in utterance of the user. We also developed various technologies to separate musical instrument parts for polyphonic performance, and real-time score following systems. These musical-related technologies are applied to make musical robots to play ensemble with human players

已经开发了计算听觉场景分析的三个主要特征，声源定位，声源分离和分离声音的识别，并且它们的集合作为一个名为“HARK”的开源机器人试听软件提供。作为这次机器人试镜的概念证明，我们开发了可以倾听同时说话者的“圣德王子”机器人，以及接受用户插话的口语对话系统。我们还开发了各种技术来分离乐器部件以进行复调演奏，以及实时乐谱跟踪系统。这些与音乐相关的技术被应用于使音乐机器人与人类演奏者合奏

项目成果

A musical robot that synchronizes with a co-player using non-verbal cues

使用非语言提示与同伴同步的音乐机器人

• DOI: 10.1163/156855311x614626
• 发表时间: 2012
• 期刊: Advanced Robotics
• 影响因子: 2
• 作者: A.Lim;T.Mizumoto;et al
• 通讯作者: et al

RNNを備えた2体のロボット間における身体性に基づいた動的コミュニケーションモデル

配备RNN的两个机器人之间基于物理性的动态通信模型

• 发表时间: 2009
• 作者: 日下航;尾形哲也;小嶋秀樹;高橋徹;奥乃博
• 通讯作者: 奥乃博

Complex Synchronization in a Frustrated System of Calling Frogs

青蛙呼叫系统中的复杂同步

• 发表时间: 2011
• 作者: I.Aihara;R.Takeda;T.Mizumoto;T.Ohtsuka;T.Takahashi;H.G.Okuno;K.Aihara
• 通讯作者: K.Aihara

Robot musical accompaniment: integrating audio and visual cues for real-time synchronization with a human flutist

• DOI: 10.1109/iros.2010.5650427
• 发表时间: 2010-12
• 期刊: 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems
• 作者: Angelica Lim;Takeshi Mizumoto;Louis-Kenzo Cahier;Takuma Otsuka;Toru Takahashi;Kazunori Komatani;T. Ogata

Improvement in Listening Capability for Humanoid Robot HRP-2

人形机器人 HRP-2 听力能力的改进

• 发表时间: 2010
• 作者: Toru Takahashi;Kazuhiro Nakadai;Kazunori Komatani;Tetsuya Ogata;Hiroshi. G. Okuno
• 通讯作者: Hiroshi. G. Okuno