Improvement of audio-visual speech recognition using multi-modal cooperation and integration techniques

使用多模态协作和集成技术改进视听语音识别

• 批准号: 18700175
• 负责人: TAMURA Satoshi
• 金额: $ 2.34万
• 依托单位: Gifu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18700175/
• 关键词: マルチモーダル音声認識; 情報統合; 情報協調; マイクロフォンアレー; マルチモーダルVAD; 音声認識; マルチモーダル; 音声区間検出; 画像特徴量; カメラアレー; リアルタイム

本研究では、音声と発声時の口唇動画像を用いたマルチモーダル音声認識において、音声と画像それぞれの情報を相互利用する情報協調手法、および、音声と画像の情報を効果的にまとめる情報統合方法に関するさまざまな検討を通じて、マルチモーダル音声認識の認識性能の向上を試みた。その結果、認識性能の向上を達成しただけでなく、情報協調や情報統合に関する多くの新しい知識を得ることができた。

This study aims to improve the cognitive performance of lip animation in the process of sound recognition and mutual utilization of sound and image information. The results, cognitive performance and progress of information coordination and information integration related to the acquisition of new knowledge

项目成果

リアルタイムマルチモーダル音声認識の構築に関する検討

构建实时多模态语音识别的研究

• 发表时间: 2007
• 作者: 上澤泰;田村哲嗣;速水悟;田村哲嗣,速水悟
• 通讯作者: 田村哲嗣,速水悟

実環境における口唇動画像を用いたマルチモーダル音声区間検出

真实环境中使用唇部视频的多模态语音区间检测

• 发表时间: 2009
• 作者: 牧瀬壮四郎;奥寛雅;石川正俊;竹内伸一,羽柴隆志,田村哲嗣,速水悟
• 通讯作者: 竹内伸一,羽柴隆志,田村哲嗣,速水悟

画像特徴量の正規化によるマルチモーダル音声認識の改善

通过规范化图像特征来改进多模态语音识别

• 发表时间: 2008
• 作者: 羽柴;竹内;田村;速水;石川雅人,田村哲嗣,速水悟
• 通讯作者: 石川雅人,田村哲嗣,速水悟

マルチストリームHMMを用いた音声と画像による音声区間検出

使用多流 HMM 使用音频和图像进行语音片段检测

• 发表时间: 2009
• 作者: 羽柴;竹内;田村;速水
• 通讯作者: 速水

マイクロフォンアレイによる目的信号スペクトル抽出法の検討

基于麦克风阵列的目标信号频谱提取方法检验

• 发表时间: 2008
• 作者: 羽柴;竹内;田村;速水;石川雅人,田村哲嗣,速水悟;菱川恵利子,田村哲嗣,速水悟
• 通讯作者: 菱川恵利子,田村哲嗣,速水悟