聴覚シーン形成メカニズムに基づく計算機聴覚についての研究

基于听觉场景形成机制的计算听力研究

• 批准号: 15650053
• 负责人: 黄 捷
• 金额: $ 1.41万
• 依托单位: The University of Aizu
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15650053/
• 关键词: Perceptual organization of sound; Human audition; Auditory scene analysis; Precedence effect; Cocktail party effect; 聴覚シーン解析; 聴覚シーン形成要因; 聴覚モデル; 時間周波数分析; 環境音分析; ストリーミング分離抽出; 環境ロボスト性

我々の日常環境は多くの音響イベントが混在する。いかに特定のストリーミングを分離抽出し、選択的に聞くことができるか、また反響の影響をいかに排除するか。このような聴覚処理のモデルが構築できれば、高いレベルの環境ロバスト性を備えるので、実際の応用において非常に役に立つと期待できる。これらの問題を解決するために、ボトムアップのアプローチでは2音響成分を用いた心理学実験を通じて、それぞれの要因の総合的な量的関係の解明を試みた。その結果、2成分音脈分凝の時間のずれが調波構造の有無によって約20msから40msに増えることが分かった。また、倍音関係からのずれの度合いも音脈分凝の要因になることが確かめられた。周波数変調相違の影響は5000Hzまでで、調波構造がある場合は約50Hzのずれ、調波構造がない場合は周波数の約10倍のずれで音脈分凝の要因となることが分かった。周波数距離の要因について低周波数成分の約5倍の開きが必要であることも明らかになった。一方、反響を加えた時のそれぞれの分離・統合要因がどう影響を受けるかについても擬似インパルス応答を発生させて反響を加えて心理実験で影響を調べた。その結果、倍音関係、周波数変調、振幅変調の影響のいずれも減少することがわかったが、量的な関係を判断するためにはさらにいろんな状況で調べる必要があるので、今後の研究に期待するところである。また、先行音効果の反響予測を基にした反響回避モデルを提案した。計算機シミュレーションにより評価を行い2クリック音、Hass効果、Franssen効果を矛盾なく説明できたので、音響設計への応用が期待できる。トップダウンのアプローチとしては環境音の特徴をスペクトルとパワーの時間パターンとしてとらえ、多層ニューラルネットワークを用いて認識の試みを行い、45種類の異なる環境音について約90%の認識率が得られた。また、両耳聴現象のカクテルパーティ効果は両耳間の相関関係が重要であるため、独立成分分析の視点から音源分離を試み、実環境でのストリーム分離についても研究を行った。参考文献は本研究関連の論文をまとめてあげた。

I 々 <s:1> my daily environment <e:1> is mostly filled with く <s:1> sound equipment ベ ベ トが トが mixed in する. い か に specific の ス ト リ ー ミ ン グ を separation spare し, sentaku に smell く こ と が で き る か, ま た echo の influence を い か に exclude す る か. こ の よ う な hearing 処 Richard の モ デ ル が build で き れ ば, high い レ ベ ル の environment ロ バ ス ト sex を prepared え る の で, be interstate の 応 with に お い て に made very に service つ と expect で き る. こ れ ら の を solve す る た め に, ボ ト ム ア ッ プ の ア プ ロ ー チ で は 2 audio components を with い た psychology be 験 を tong じ て, そ れ ぞ れ の by の 総 な quantity of masato is の interpret を try み た. そ の results, 2 ingredients sound pulse segregated の time の ず れ が の wave modulated structure with and without に よ っ て around 20 ms か ら 40 ms に raised え る こ と が points か っ た. Youdaoplaceholder0, the relationship of doubling the tone, また ら, ずれ, ずれ, the degree of <s:1>, the key factors of the pulse division of <s:1>, になる, ずれ, とが, and められた. Cycle count - adjustable conceives の は 5000 hz ま で で, wave modulated structure が あ る occasions about 50 hz は の ず れ, wave modulated structure が な い occasions は cycle for の about 10 times の ず れ で sound pulse segregated の by と な る こ と が points か っ た. The frequency distance <s:1> should be about five times that of the low frequency component <e:1> due to に, に, て and て. It is necessary to である, <s:1>, と and clearly indicate ら, ら, になった. When one party, echo を え た の そ れ ぞ れ の separation, integration in が ど う を by け る か に つ い て も quasi イ ン パ ル ス 応 answer を 発 raw さ せ て echo を plus え て psychological be 験 で influence を adjustable べ た. そ の results, overtone masato, cycle count - pitch, amplitude variations の influence の い ず れ も reduce す る こ と が わ か っ た が, amount of な masato is を judgment す る た め に は さ ら に い ろ ん な condition で adjustable べ る necessary が あ る の で, future study に の expect す る と こ ろ で あ る. Youdaoplaceholder0, prior sound effect results <s:1> response pretest を basis に た response avoidance モデ を を proposal た た. Computer シ ミ ュ レ ー シ ョ ン に よ り review 価 を line い 2 ク リ ッ ク sound, Hass working fruit, Franssen contradiction sharper fruit を な く illustrate で き た の で, acoustics design へ の 応 with が expect で き る. ト ッ プ ダ ウ ン の ア プ ロ ー チ と し て は environment sound の 徴 を ス ペ ク ト ル と パ ワ ー の time パ タ ー ン と し て と ら え, multi-layer ニ ュ ー ラ ル ネ ッ ト ワ ー ク を with い て know の try み を い, 45 species の different な る ambient sounds に つ い て rate of about 90% の know が must ら れ た. ま た, struck the ear 聴 phenomenon の カ ク テ ル パ ー テ ィ unseen fruit は struck between ear の phase masato masato is important で が あ る た め, independent component analysis の viewpoints か ら audio source separation を み, be environment で の ス ト リ ー ム separation に つ い て も を line っ た. References: Related to this study: をまとめてあげた.

项目成果

Y.Futamura: "Influence of Echoes and Reverberations on Perceptual Organization of Sound in Human Audition"The University of Aizu, 2003 Graduation Thesis. 1-6 (2004)

Y.Futamura：“回声和混响对人类听觉中声音感知组织的影响”会津大学，2003 年毕业论文。

Investigating the quantitative factors for sound integration and segregation in human audition

研究人类听觉中声音整合和分离的定量因素

• 发表时间: 2002
• 期刊: Proc.9^<th> Australian Int.Conf.Speech Science and Technology
• 作者: H.Sato;J.Huang
• 通讯作者: J.Huang

H.Sato, J.Huang: "Investigating the quantitative factors for sound integration and segregation in human audition"Proc.9^<th> Australian Int.Conf.Speech Science and Technology. (2002)

H.Sato、J.Huang：“研究人类听觉中声音整合和分离的定量因素”Proc.9^<th>澳大利亚国际会议语音科学与技术。

Computational implementation and evaluation for the echo-avoidance model of the precedence effect

优先效应回声避免模型的计算实现与评估

• 发表时间: 2004
• 期刊: Pro.23^<rd> IASTED Int.Conf.Modeling, Identification, and Control
• 作者: J.Huang;Y.Utsuno;S.Ding
• 通讯作者: S.Ding

S.Ding, J.Huang: "Recursive approach for real-time blind source separation of acoustic signals"Proc.Knowledge-Based Intelligent Information and Engineering System (Lecture Notes in Artificial Intelligence). 1455-1462 (2003)

S.Ding，J.Huang：“声学信号实时盲源分离的递归方法”Proc.基于知识的智能信息与工程系统（人工智能讲义）。