音響信号記号変換に基づいたセマンティックインタラクション

基于声学信号符号变换的语义交互

• 批准号: 18049048
• 负责人: 奥乃 博
• 金额: $ 4.16万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18049048/
• 关键词: ロボット聴覚; 音環境理解; 視聴覚情報統合; 音楽情報処理; 市販CD音楽音響信号; ミッシングフィーチャ理論; マスク自動生成; 遺伝的アルゴリズム

情報爆発という特定領域テーマに対して、音情報、すなわち、i-explosion_soundという観点から、(1)あまり使用されていない音響信号(単音音声に加えて、混合音声や音楽や環境音から音情報を取得することによる情報爆発の促進、(2)ディジタル音響信号処理による爆発する音情報から質的複雑化の軽減、という2つの側面について取り組んだ。主な研究項目は以下の通りである。(1)混合音の認識:「三話者同時発話認識の高性能化・高速化」これまで開発してきたシステムは,音源定位(steered beamforer)、音源分離(GSS,ICA)、ミッシングマスク生成、ミッシングフィーチャ理論による音声認識から構成されており、三話者が同時に発話した後、分離・認識して、応答するまでに約8秒かかっていた。これに対して、RASP-2信号処理装置を使用したシステム再構成、Flow Designerによるシステム内のモジュールインタフェースの統一、および、GAによる多数のシステムパラメータのチューニングを行い、認識応答速度の高速化(1.9秒と約4倍の高速化)、および,認識率の向上が達成できた。(2)実環境への対応と実時間処理:上記の三話者同時発話認識では、マルチメディア実験室(5m*7m)で実際の人を用いて実験が行えるレベルまで性能が向上した。また、混合音声だけでなく、ドラム音を含むポリフォニー音楽音響信号に対しても、ドラムパターンを認識し、実時間でドラム音を編集できるオーディオプレイヤーを開発した。これにより、ロボットが音楽からビートを聴き分け、トラックできるシステムの基礎技術を確立することができた。

Intelligence explosion 発 と い う domain-specific テ ー マ に し seaborne て, sound intelligence, す な わ ち, I - explosion_sound と い う 観 point か ら, (1) あ ま り use さ れ て い な い sound signal (単 sound sounds に plus え て, mixed sound や sound joy や ambient sounds か ら sound intelligence を obtain す る こ と に よ る intelligence explosion 発 の promote, (2) デ ィ ジ タ ル sound signal 処 Richard に よ る detonation 発 す る sound intelligence か ら qualitative compound 雑 change の 軽 subtraction, と い う 2 つ の side に つ い て in り group ん だ. The main な research project な is followed by である である. (1) mixed の know tone: "three words 発 words at the same time understanding の high-performance, high speed" こ れ ま で open 発 し て き た シ ス テ ム は, sound source localization (steered Beamforer), audio source separation (GSS, ICA), ミ ッ シ ン グ マ ス ク generation, ミ ッ シ ン グ フ ィ ー チ ャ theory に よ る sounds know か ら constitute さ れ て お り, three words が also に 発 words し た, separation, after understanding し て, 応 answer す る ま で に about eight seconds か か っ て い た. <s:1> れに for て, the RASP-2 signal processing device を is reconstituted using <s:1> たシステム, Flow Within the Designer に よ る シ ス テ ム の モ ジ ュ ー ル イ ン タ フ ェ ー ス の unified, お よ び, GA に よ る most の シ ス テ ム パ ラ メ ー タ の チ ュ ー ニ ン グ を い, know 応 answer speed の high speed high speed (about 4 times の と 1.9 seconds), お よ び, understanding rate の が reach upward で き た. (2) be environment へ の 応 seaborne と be time 処 : remember の three 発 words at the same time meet the speaker's words on で は, マ ル チ メ デ ィ ア be 験 chamber (5 m * 7 m) で be interstate の person を use い て be 験 が line え る レ ベ ル ま で performance が upward し た. ま た, mixed sounds だ け で な く, ド ラ を ム notes contain む ポ リ フ ォ ニ ー sound joy sound signal に し seaborne て も, ド ラ ム パ タ ー ン を know し, be time で ド ラ ム sound compiling で を き る オ ー デ ィ オ プ レ イ ヤ ー を open 発 し た. こ れ に よ り, ロ ボ ッ ト が sound joy か ら ビ ー ト を 聴 き け, ト ラ ッ ク で き る シ ス テ ム の based technology を す る こ と が で き た.

项目成果

Meaning-Game-based Centering Model with Statistical Definition of Utility of Referential Expression and Its Verification

基于意义博弈的指称表达效用统计定义的中心模型及其验证

• 发表时间: 2007
• 期刊: Proceedings of DAARC 2007 1
• 作者: Naohiro Hayashibara;Makoto Takizawa;Jean-Marc Valin;神田 直之;Kazuyoshi Yoshii;Tetsuro Kitahara;山本 俊一;Kazuyoshi Yoshi;Tetsuro Kitahara;山本 俊一;奥乃 博;Shun Shiramatsu
• 通讯作者: Shun Shiramatsu

Improving Speech Recognition of Two Simultaneous Speech Signals by Integrating ICA BSS and Automatic Missing Feature

通过集成 ICA BSS 和自动丢失功能改进两个同时语音信号的语音识别

• 发表时间: 2006
• 期刊: Proceedings of Interspeech-2006 3
• 作者: Naohiro Hayashibara;Makoto Takizawa;Jean-Marc Valin;神田 直之;Kazuyoshi Yoshii;Tetsuro Kitahara;山本 俊一;Kazuyoshi Yoshi;Tetsuro Kitahara;山本 俊一;奥乃 博;Shun Shiramatsu;Hiroshi G. Okuno;北原 鉄朗;Tetsuro Kitahara;Hiromasa Fujihara;Ryu Takeda;Shun'ichi Yamamoto;Kazuhiro Nakadai;Hiromasa Fujihara;Ryu Takeda
• 通讯作者: Ryu Takeda

Speaker Identification under Noisy Environments by using Harmonic Structure Extraction and Reliable Frame Weighting

使用谐波结构提取和可靠的帧加权在噪声环境下识别说话人

• 发表时间: 2006
• 期刊: Proceedings of Interspeech-2006 2
• 作者: Naohiro Hayashibara;Makoto Takizawa;Jean-Marc Valin;神田 直之;Kazuyoshi Yoshii;Tetsuro Kitahara;山本 俊一;Kazuyoshi Yoshi;Tetsuro Kitahara;山本 俊一;奥乃 博;Shun Shiramatsu;Hiroshi G. Okuno;北原 鉄朗;Tetsuro Kitahara;Hiromasa Fujihara;Ryu Takeda;Shun'ichi Yamamoto;Kazuhiro Nakadai;Hiromasa Fujihara
• 通讯作者: Hiromasa Fujihara

多重奏を対象とした音源同定 : 混合音テンプレートを用いた音の重なりに頑健な特徴量への重みづけおよび音楽的文脈の利用

多重声源识别：使用混合声音模板和音乐背景对对声音重叠具有鲁棒性的特征进行加权

• 发表时间: 2006
• 期刊: 電子情報通信学会論文誌 J89-D・12
• 作者: 大村吉幸;瀬田尚子;長久保晶彦;國吉康夫;北原 鉄朗 他
• 通讯作者: 北原 鉄朗 他

Real-Time Tracking of Multiple Sound Sources by Integration of In-Room and Robot-Embedded Microphone Arrays

• DOI: 10.1109/iros.2006.281737
• 发表时间: 2006-10
• 期刊: 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems
• 作者: K. Nakadai;H. Nakajima;M. Murase;HIroshi G. Okuno;Yuji Hasegawa;H. Tsujino