マルチモーダル音声認識・合成によるインターフェースの構築

使用多模态语音识别和合成构建界面

• 批准号: 10780226
• 负责人: 徳田 恵一
• 金额: $ 1.47万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1998
• 资助国家: 日本
• 起止时间: 1998 至 1999
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10780226/
• 关键词: 隠れマルコフモデル; バイモーダル音声情報; 音声合成; 音声認識; 視聴覚; 唇動画像

人間が関わるコミュニケーションにおいては、視覚と聴覚情報の担う役割が非常に大きい。このため,人間に優しいヒューマンインターフェースを実現する上で,視覚・聴覚を融合したマルチモーダルインターフェースの開発が重要な課題となっている。このようなマルチモーダルインターフェースの一つとして,音声と唇動画像による「バイモーダル音声認識」と,任意の文字テキストから自然な音声と唇の動きを同時に生成する「バイモーダル音声合成」を,「バイモーダル音声入出力システム」として統一された枠組の中で実現することを目指し,以下のような研究を行った.・唇画像データベースの作成:音節または音素を単位とするHMM作成のために必要な唇画像を音声と同期して収録した。また,同期収録音声に基づいてラベル付けを行った。・唇動画像による音声認識唇のためのHMMの学習法について検討し,新たに提案した位置の正規化学習が効果的であることを示した.・唇動画像の生成については,輪郭モデルを用いるものと,画像ベースのものとを並行して,検討した.いずれにおいても,これまでに提案したHMMからのパラメータ生成アルゴリズムを用いることにより,良好な唇動画像を生成できることを確かめた.・以上の成果に基づいて,「入力音声に同期した唇動画像を生成するシステム」,「テキストから,音声と唇動画像を同時に生成するシステム」などを構築し,それらの有用性を示した.

在人类交流中，视觉和听觉信息起着巨大的作用。因此，在实现人类友好的人类界面时，结合视觉和听力的多模式界面的发展是一个重要的问题。作为这些多模式界面之一，我们的目的是使用语音和唇部运动图像实现“双峰语音识别”，以及“双峰语音综合”，同时在统一框架内从任何文本中产生自然语音和唇部运动，作为“双峰语音输入/输出系统”，并创建了lip imable： - lip image：lip imabase： - lip imabale;与音频同步记录音素。此外，根据同步记录音频进行标记。・我们研究了使用唇部运动图像的HMM学习方法，并表明新提出的对位置的归一化学习是有效的。 ・对于生成唇部运动图像，我们在平行的情况下检查了轮廓模型和基于图像的模型。在这两种情况下，我们都可以通过使用来自HMM提出的参数生成算法来确认可以生成良好的唇部运动图像。 ・基于上述结果，我们构建了一个系统，该系统用于生成与输入语音同步的唇部运动图像，一种用于同时从文本中生成语音和唇部运动图像的系统，并证明了它们的实用性。

项目成果

Oscar Vanegas: "Intensity/Iocation normalization for automatice lipreading" Proc. International Conference on Signal Processing. vol.2. 920-923 (1998)

Oscar Vanegas：“自动唇读的强度/位置标准化”Proc。

Masatsune Tamura: "Visual speech synthesis based on parameter generation from HMM:speech-driven and text-and-speech-driven approach" Proc. International Conference of Auditory-Visual Speech Proccssing. 219-224 (1998)

Masatsune Tamura：“基于 HMM 参数生成的视觉语音合成：语音驱动和文本和语音驱动方法”Proc。

K,Tokuda: "Speech parameter generation algorithms for HMM-based speech synthesis"Proceedings of International Conference on Acoustics,Speech,and Signal Processing. (採録決定済). (2000)

K，Tokuda：“基于 HMM 的语音合成的语音参数生成算法”国际声学、语音和信号处理会议论文集（已接受）。

O.Vanegas: "Location normalization of HMM-based lip reading : Experiments for the M2VTS Database"IEEE International Conference on Image Processing. (1999)

O.Vanegas：“基于 HMM 唇读的位置标准化：M2VTS 数据库的实验”IEEE 国际图像处理会议。

T.Yoshimura: "Simultaneous modeling of spectrum,pitch and duration in HMM-based speech synthesis"Proceedings of European Conference on Speech Communication and Technology. (1999)

T.Yoshimura：“基于 HMM 的语音合成中频谱、音调和持续时间的同步建模”欧洲语音通信与技术会议论文集。