マルチモーダル音声認識・合成によるインターフェースの構築

使用多模态语音识别和合成构建界面

• 批准号: 10780226
• 负责人: 徳田 恵一
• 金额: $ 1.47万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1998
• 资助国家: 日本
• 起止时间: 1998 至 1999
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10780226/
• 关键词: 隠れマルコフモデル; バイモーダル音声情報; 音声合成; 音声認識; 視聴覚; 唇動画像

人間が関わるコミュニケーションにおいては、視覚と聴覚情報の担う役割が非常に大きい。このため,人間に優しいヒューマンインターフェースを実現する上で,視覚・聴覚を融合したマルチモーダルインターフェースの開発が重要な課題となっている。このようなマルチモーダルインターフェースの一つとして,音声と唇動画像による「バイモーダル音声認識」と,任意の文字テキストから自然な音声と唇の動きを同時に生成する「バイモーダル音声合成」を,「バイモーダル音声入出力システム」として統一された枠組の中で実現することを目指し,以下のような研究を行った.・唇画像データベースの作成:音節または音素を単位とするHMM作成のために必要な唇画像を音声と同期して収録した。また,同期収録音声に基づいてラベル付けを行った。・唇動画像による音声認識唇のためのHMMの学習法について検討し,新たに提案した位置の正規化学習が効果的であることを示した.・唇動画像の生成については,輪郭モデルを用いるものと,画像ベースのものとを並行して,検討した.いずれにおいても,これまでに提案したHMMからのパラメータ生成アルゴリズムを用いることにより,良好な唇動画像を生成できることを確かめた.・以上の成果に基づいて,「入力音声に同期した唇動画像を生成するシステム」,「テキストから,音声と唇動画像を同時に生成するシステム」などを構築し,それらの有用性を示した.

It is very difficult for people to take care of each other in the course of service and cutting. In the middle of the day, there is an upstream of the phone in the middle of the day, and there is no need to start an important issue. Every word, word, sound, sound The sound input and output of the sound is affected by the sound input and output of the sound. In the system, you can see that the sound is not clear. The following is a study. The lip portrait is made of the sound, the phoneme, the phoneme, the HMM, the necessary lip portrait, the sound, the sound, the sound. At the same time, the sound will be paid in the same period. Lip motion portrait, voice recognition, lip contact, HMM learning method, lip movement, lip motion, lip motion, lip movement, lip movement, voice, sound, voice, sound, voice, voice, sound, voice, sound, sound, voice, voice, sound, sound, voice, voice, sound, voice, sound, sound, voice, sound, sound, The lip-moving portrait is used to create a picture, and the picture is used to make a picture of it. Please make sure that you can make sure that you have a good picture of your lips, and that you can use your lips to make sure that you have a good picture of your lips, so that you can make sure that you can make sure that you have a good picture of your lips. The above results are based on the above results, "input sound and sound at the same time to generate lip motion portraits", "sound and sound lip motion portraits", "sound and lip motion portraits" at the same time.

项目成果

Oscar Vanegas: "Intensity/Iocation normalization for automatice lipreading" Proc. International Conference on Signal Processing. vol.2. 920-923 (1998)

Oscar Vanegas：“自动唇读的强度/位置标准化”Proc。

K,Tokuda: "Speech parameter generation algorithms for HMM-based speech synthesis"Proceedings of International Conference on Acoustics,Speech,and Signal Processing. (採録決定済). (2000)

K，Tokuda：“基于 HMM 的语音合成的语音参数生成算法”国际声学、语音和信号处理会议论文集（已接受）。

O.Vanegas: "Location normalization of HMM-based lip reading : Experiments for the M2VTS Database"IEEE International Conference on Image Processing. (1999)

O.Vanegas：“基于 HMM 唇读的位置标准化：M2VTS 数据库的实验”IEEE 国际图像处理会议。

Masatsune Tamura: "Visual speech synthesis based on parameter generation from HMM:speech-driven and text-and-speech-driven approach" Proc. International Conference of Auditory-Visual Speech Proccssing. 219-224 (1998)

Masatsune Tamura：“基于 HMM 参数生成的视觉语音合成：语音驱动和文本和语音驱动方法”Proc。

T.Yoshimura: "Simultaneous modeling of spectrum,pitch and duration in HMM-based speech synthesis"Proceedings of European Conference on Speech Communication and Technology. (1999)

T.Yoshimura：“基于 HMM 的语音合成中频谱、音调和持续时间的同步建模”欧洲语音通信与技术会议论文集。