高臨場感通信を目的とした三次元音場の理解と記述に関する研究

人間は雑踏やパーティーの中でもある人の声あるいは音に着目して、いとも簡単にその音を聞き分けコミュニケーションをとることができる。本研究では、ある点あるいは領域の情報をそのまま記述・伝送するのではなく、人間が普段行っているように音響環境・空間情報・対人情報を含むコミュニケーションコンテンツ、コミュニケーション環境情報の理解と記述を行い、それらをオブジェクト符号化することにより高臨場感通信を目的とした三次元音場の理解と記述を行う。具体的には、マイクロホンアレーの技術を基にした音場の空間情報の把握、伝達系の予測、聴覚機構を考慮することにより複雑な系においても音環境の理解を可能とする手法を提案する。これより得られる音場の空間情報とそれを利用した音源分離手法によりオブジェクトを記述する。また、記述されたオブジェクトを伝送・再現する三次元音場再現システムを構築し、聴感的評価を行う。これまで伝達系の予測,聴覚機構を考慮することにより複雑な系においても音環境の理解を可能とする手法を提案し、これより得られる音場の空間情報とそれを利用した音源分離手法によりオブジェクトを記述してきた。本年度は、人間は通常反射特性を利用し音源方向推定等を行っているということに着目し、計算機シミュレーションを用いて設計した反射板と単一マイクロホンを用いた音源方向推定手法を提案した。実際に反射板を作成し実験によりその有効性を確認した。また、昨年度までに構築した音源方向推定を行う空間情報把握システム、音源・受音点間の伝達系の予測を用いた音源分離システムを用い、実環境での音源オブジェクトの抽出を行った。さらにコンデンサスピーカにより再生空間を囲んだ三次元音場再現システムを構築し、音場の伝送・再現実験を行った。特に音の距離感に関する検討を加え、試聴実験を行い、距離感を含めた音場再現が可能であることが確認された。

人間は雑踏やパーティーの中でもある人の声あるいは音に着目して、いとも簡単にその音を聞き分けコミュニケーションをとることができる。本研究では、ある点あるいは領域の情報をそのまま記述・伝送するのではなく、人間が普段行っているように音響環境・空間情報・対人情報を含むコミュニケーションコンテンツ、コミュニケーション環境情報の理解と記述を行い、それらをオブジェクト符号化することにより高臨場感通信を目的とした三次元音場の理解と記述を行う。具体的には、マイクロホンアレーの技術を基にした音場の空間情報の把握、伝達系の予測、聴覚機構を考慮することにより複雑な系においても音環境の理解を可能とする手法を提案する。これより得られる音場の空間情報とそれを利用した音源分離手法によりオブジェクトを記述する。また、記述されたオブジェクトを伝送・再現する三次元音場再現システムを構築し、聴感的評価を行う。これまで伝達系の予測,聴覚機構を考慮することにより複雑な系においても音環境の理解を可能とする手法を提案し、これより得られる音場の空間情報とそれを利用した音源分離手法によりオブジェクトを記述してきた。本年度は、人間は通常反射特性を利用し音源方向推定等を行っているということに着目し、計算機シミュレーションを用いて設計した反射板と単一マイクロホンを用いた音源方向推定手法を提案した。実際に反射板を作成し実験によりその有効性を確認した。また、昨年度までに構築した音源方向推定を行う空間情報把握システム、音源・受音点間の伝達系の予測を用いた音源分離システムを用い、実環境での音源オブジェクトの抽出を行った。さらにコンデンサスピーカにより再生空間を囲んだ三次元音場再現システムを構築し、音場の伝送・再現実験を行った。特に音の距離感に関する検討を加え、試聴実験を行い、距離感を含めた音場再現が可能であることが確認された。