マルチメディアコンピュータによるモバイル視聴覚融合音声認識システム

本課題では、様々な環境下における音声による対話(マン-マシンインターフェイス)の実現を目的とし、視聴覚融合音声認識システムに関する研究を行なった。具体的には,「人間の目の役割を演ずるテレビカメラ」と「耳の役割を演ずるマイクロホン」から得られた情報を対象としてモバイルコンピュータ上で統合認識処理を行なうことにより、柔軟性のあるマン-マシンインターフェイスの実現を試みている。本研究の目的である「モバイル視聴覚融合音声認識システム」は,3つの処理(「1.視聴覚情報のデータ収集」,「2.融合および認識手法の開発」,「3.モバイルコンピュータへの実装」)から構築される。平成10年度は,「3.モバイルコンピュータへの実装」に関する研究を行なった。また同時に、昨年度までの成果に改良を加えることにより認識精度の改善を行なった。・モバイルコンピュータへの実装昨年度までの研究成果である視聴覚融合音声認識システムをモバイル型マルチメディアコンピュータ上に実装し、室外などの様々な騒音環境下を想定して音声認識実験を行なった。その結果、各種実験により高騒音環境における認識率改善の点で、提案手法が有効であることを確認できた。・融合手法の改善昨年度までの研究成果である視聴覚融合音声認識システムにおける視聴覚融合手法に改善を加えた。具体的には、HMMの出力確率の計算を行なう際にDempster-Shafer確率理論を導入することで、背景騒音などの認識環境により適合した融合を行なうことが可能となり、結果として認識精度の向上を実現した。なお,上述の実験に用いたモバイル型マルチメディアコンピュータは、本科学研究費補助金研究により購入した設備備品である。

本課題では、様々な環境下における音声による対話(マン-マシンインターフェイス)の実現を目的とし、視聴覚融合音声認識システムに関する研究を行なった。具体的には,「人間の目の役割を演ずるテレビカメラ」と「耳の役割を演ずるマイクロホン」から得られた情報を対象としてモバイルコンピュータ上で統合認識処理を行なうことにより、柔軟性のあるマン-マシンインターフェイスの実現を試みている。本研究の目的である「モバイル視聴覚融合音声認識システム」は,3つの処理(「1.視聴覚情報のデータ収集」,「2.融合および認識手法の開発」,「3.モバイルコンピュータへの実装」)から構築される。平成10年度は,「3.モバイルコンピュータへの実装」に関する研究を行なった。また同時に、昨年度までの成果に改良を加えることにより認識精度の改善を行なった。・モバイルコンピュータへの実装昨年度までの研究成果である視聴覚融合音声認識システムをモバイル型マルチメディアコンピュータ上に実装し、室外などの様々な騒音環境下を想定して音声認識実験を行なった。その結果、各種実験により高騒音環境における認識率改善の点で、提案手法が有効であることを確認できた。・融合手法の改善昨年度までの研究成果である視聴覚融合音声認識システムにおける視聴覚融合手法に改善を加えた。具体的には、HMMの出力確率の計算を行なう際にDempster-Shafer確率理論を導入することで、背景騒音などの認識環境により適合した融合を行なうことが可能となり、結果として認識精度の向上を実現した。なお,上述の実験に用いたモバイル型マルチメディアコンピュータは、本科学研究費補助金研究により購入した設備備品である。