3次元音空間知覚における視覚・聴覚のマルチモダール情報処理に関する研究

3D声音空间感知中视听多模态信息处理研究

• 批准号: 14780300
• 负责人: 金 海永
• 金额: $ 1.79万
• 依托单位: Akita Prefectural University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14780300/
• 关键词: 空間知覚; 音像定位; 視覚と聴覚の相互作用; マルチモーダル情報処理

本年度の研究では,ヒトの3次元音空間知覚における視覚と聴覚の相互作用について調べるために,視覚情報の変化(方向や距離)に追従して,音源から人間の両耳までの聴覚情報を実時間で変化させることができる視覚情報と聴覚情報の実時間提示システムの構築を行った.また,構築したシステムを用いて視覚情報が音空間知覚に及ぼす影響を聴覚情報と同時に視覚情報を与えることにより,3次元音空間知覚がどのようになされるかについての基礎実験を行った.その結果,本年度に行った研究では、以下のような成果を挙げることができた。1.音像定位伝達関数を音源の動きに対応して実時間で切り替えるシステムを構築するため,聴取者の頭部伝達関数の測定を行った.2.視覚情報の変化に追従して,音像定位伝達関数を実時間で切り替え,高精度の3次元音像定位を実現する3次元音空間合成システムを構築した.3.2項で構築されたシステムを用い,音像定位伝達関数のみを与えた場合と聴覚情報に視覚情報を与えた場合とで,3次元空間知覚がどのように変化するかを検討した.4.上記第1〜3項の検討を基に,視覚情報を,音像定位伝達関数の変化に反映させるための基礎資料を作成した.

In this year's research, there are three times of vowel space communication, the interaction between vowels, and the direction of separation. In the same time, the vowel in the space of the vowel is known to be in the same time, and the vowels in space for three times. According to the results, we will conduct a study this year, and the following results will be reviewed. 1. The audio-visual positioning is up to the number of users, and the audio source is busy when the audio source is in operation. 2. The audio-visual positioning has reached several times, the audio-visual positioning has reached several times, and the high-precision third-order vowel positioning has achieved the spatial synthesis of third-order vowels. 3.2 the audio-visual positioning has reached the combination of audio-visual positioning, audio-visual positioning, and audio-visual positioning. 3-dimensional space information. 4. Items 1-3 above are used for information reports, and audio and video positioning is available to reflect the production of basic information.