权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

音・映像情報の相補的結合に基づくハンズフリー音声コミュニケーションシステムの構築

基于音视频信息互补组合的免提语音通信系统的构建

基本信息

批准号：
14780288
负责人：
西浦敬信
金额：
$ 2.43万
依托单位：
Ritsumeikan University (2004)Wakayama University (2002-2003)
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2002
资助国家：
日本
起止时间：
2002 至 2004
项目状态：
已结题

项目摘要

近年、遠隔発話音声受音の最有力候補として複数のマイクロホン素子を利用するマイクロホンアレーを用いた音声インタフェースの構築が高い注目を浴びている。現在までのマイクロホンアレーを用いたハンズフリー音声認識・音声コミュニケーションの研究では、計算機上でのシミュレーションや実験室などの人為的に制御された環境においては、ある程度の成果を収めている。しかしながら、実際の環境(我々の生活環境)における性能は不十分であり、実用化は困難な状況であった。実際問題として人と人とのコミュニケーションでは、聴覚だけでなく視覚情報も最大限有効利用することにより、スムーズなコミュニケーションを実現している。そこで本研究では、平成14年度から平成16年度の3年間において、空間内の音情報だけでなく映像情報を積極的に利用することにより、環境内の雑音や残響に頑健な発話者同定やハンズフリー音声認識・音声コミュニケーションの実現を目指すものである。平成16年度は、マイクロホンアレーを用いて獲得した音情報とビデオカメラを用いて獲得した映像情報を相補的に有機統合して、発話者の位置だけでなくその発話者の音声を高精度に抽出することも行い、さらに高精度なハンズフリー音声コミュニケーションシステムの構築を行った。またシステムが雑音環境下でも高精度に動作するよう、対雑音性においても重点的に研究を行った。本年度の本研究成果として、学術雑誌論文5件、国際会議5件の採録を得た。本研究期間(3年間)において音・映像情報を相補的に結合したハンズフリー音声コミュニケーションシステムの構築を試み、ビデオカメラから取得した映像情報とマイクロホンアレーから取得した音情報を相補的に結合することによって実機にてリアルタイムで動作可能なシステムを構築することができた。

In recent years, the most powerful candidate for distant sound reception has been the use of multiple sound elements. Now, the research on the application of sound and sound in computer science has been carried out in order to control the environment artificially. The environment (my living environment) is not very good, and the application is difficult. The problem is that the maximum use of visual information is not possible. During the three years from 2004 to 2006, sound and image information in space were actively utilized, and sound and residual sound in the environment were identified as sound recognition and sound realization indicators. In 2016, the voice information was obtained and the image information was obtained. The position of the speaker was divided into two parts. The voice of the speaker was extracted with high precision. The voice information was constructed with high precision. High precision operation in acoustic environment, key research in acoustic environment This year's research achievements, academic journal papers 5, international conferences 5 and recorded During this study period (3 years), the combination of sound and image information was tested and the combination of sound and image information was obtained.