インタラクションシステムのためのバイモーダル音声合成

交互系统的双模态语音合成

• 批准号: 11878064
• 负责人: 小林 隆夫
• 金额: $ 1.41万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-11878064/
• 关键词: 音声合成; 隠れマルコフモデル(HMM); マルチモーダル; 唇動画像; 聴覚・視覚音声データベース; 隠れマルコフモデル

本研究では,任意の文字テキストまたは音声波形が与えられた際,それに対応する音声及び同期のとれた唇の動きを生成する「バイモーダル音声合成」を実現するために,隠れマルコフモデル(HMM)に基づいた新たな枠組みを開拓することを目的として研究を行った。昨年度までの研究により,本研究における基本要素であるHMMの精密なモデル化には,データベースの拡充と画像データの時間分解能の向上が不可欠であることが明らかになったことから,今年度はまず新たな聴覚・視覚音声(音声・唇動画像)データベースの構築を行った。一人の男性話者に対して,日本語音韻バランス文503文章の発話を,従来と同様DATとディジタルビデオにより収録すると同時に,高速度カメラにより250フレーム毎秒で口の動きを撮影し,ラベル付けを行ってデータベースを作成した。次に,HMMに基づいたバイモーダル音声合成手法として,これまでに提案したモデルベースのアプローチに加え,新たに画像ベースのアプローチを提案し検討を行った。モデルベースアプローチでは,唇形状を表すモデルパラメータ抽出の際,抽出誤りが不可避であることから手修正が必要となる。これに対し画像ベースアプローチでは,画像を直接利用するためパラメータ抽出誤りの影響が生じないことに加え,歯や舌など口の内部も同時にモデル化できる利点がある。実際に,テキスト駆動型システムを構成し,自然性の高いバイモーダル合成音声の生成が可能なことを確認した。今後は,本研究で構築した聴覚・視覚音声データベースを研究用として他研究者にも公開し,実用的なバイモーダル音声合成システムの実現をめざす予定である。

In this study, arbitrary text and sound waveforms are generated in parallel with each other, and the purpose of this study is to develop new sound patterns based on HMM. The basic elements of HMM precision transformation are discussed in this paper, and the time decomposition of HMM images can be improved. This year, the construction of HMM images is carried out. A man's male voice is related to Japanese phonology, 503 articles, and the same DAT is recorded at the same time, at a high speed, the voice is recorded at 250 seconds per second, and the voice is recorded at 250 seconds per second. Second,HMM is based on the sound synthesis method, this proposal is proposed to add, new image is proposed to discuss. When extracting, it is necessary to correct the error. The image is directly used to extract the influence of errors, and the internal part of the image is simultaneously used to extract the advantages. In fact, with the construction of a dynamic system, it is confirmed that it is possible to generate highly natural synthetic sound. In the future, this study will construct a set of research methods for visual and audio synthesis, and other researchers will disclose and implement them.

项目成果

酒向慎司,徳田恵一,益子貴史,小林隆夫,北村正: "ピクセルベースアプローチによるHMMに基づいた唇動画像生成"電子情報通信学会2000年総合大会講演論文集 情報・システム. 2. 234 (2000)

Shinji Sakako、Keiichi Tokuda、Takashi Mashiko、Takao Kobayashi、Tadashi Kitamura：“使用基于像素的方法基于 HMM 生成唇部运动图像”IEICE 2000 大会论文集信息和系统。

S.Sako,K.Tokuda,T.Masuko,T.Kobayashi,T.Kitamura: "HMM-Based text-to-audio-visual speech synthesis"Proc.6th International Conference on Spoken Language Processing, ICSLP 2000. III. 25-28 (2000)

S.Sako，K.Tokuda，T.Masuko，T.Kobayashi，T.Kitamura：“基于 HMM 的文本到视听语音合成”Proc.6th 国际口语处理会议，ICSLP 2000。

酒向慎司,徳田恵一,北村正,近藤重一,益子貴史,小林隆夫: "唇動画像と音声によるマルチモーダルデータベースの構築"日本音響学会2000年秋季研究発表会講演論文集. I. 223-224 (2001)

Shinji Sakako、Keiichi Tokuda、Tadashi Kitamura、Shigeichi Kondo、Takashi Mashiko、Takao Kobayashi：“使用唇动图像和语音构建多模态数据库”日本声学学会 2000 年秋季研究会议论文集 I. 223-224。 (2001)

酒向慎司,徳田恵一,益子貴史,小林隆夫,北村正: "HMMに基づいた音声・唇動画像の同時生成-画像ベースアプローチ-"日本音響学会2000年秋季研究発表会講演論文集. I. 235-236 (2000)

Shinji Sakako、Keiichi Tokuda、Takashi Mashiko、Takao Kobayashi、Tadashi Kitamura：“基于 HMM 的语音和嘴唇运动图像的同时生成 - 基于图像的方法 -”日本声学学会 2000 年秋季会议记录 I. 235。 -236 (2000)

M.Tamura,S.Kondo,T.Masuko,T.Kobayashi: "Text-to-audio-visual speech synthesis based on parameter generation from HMM"Proc.6th European Conference on Speech Communication and Technology. EUROSPEECH-99・2. 959-962 (1999)

M.Tamura、S.Kondo、T.Masuko、T.Kobayashi：“基于 HMM 参数生成的文本到视听语音合成”Proc.6th 欧洲语音通信与技术会议 EUROSPEECH-99・2。 959-962 (1999)