発話動作を起点とした音声生成による代用発声技術の実現

根据语音动作生成语音实现替代语音技术

• 批准号: 21K11965
• 负责人: 鏑木 時彦
• 金额: $ 2.66万
• 依托单位: Kyushu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11965/
• 关键词: 調音運動; 口唇動画; リアルタイムMRI; 音声合成; ニューラルネットワーク; 敵対的生成ネットワーク; 代用発声; MRI; 機械学習; 系列変換モデル; 調音観測

情報技術による音声コミュニケーションの拡張のため、その基盤となる調音・音声データベースの拡充と、口唇動画からの音声合成システムの高度化に関する研究をおこなった。調音・音声データベースに関しては、発話時の声道全体の運動を観測し得るリアルタイムMRI（磁気共鳴画像）により、成人女性１名について音素バランス文（ATR503文）の観測実験を実施した。同観測手法により、これまで成人2名のデータ収集を完了しており、今回の測定実験によって当初目標とした3名分のデータ収集が完了する。従って、研究の進捗は当初の予定通りに進んでいる。リアルタイムMRIと同時に音声データの収録を行なっており、今後は撮像時のMRIノイズを除去する音声強調を施して、データセットとして完備する。口唇動画からの音声合成については、これまで収集してきた音声コーパスやベースとなる再帰型のディープニューラルネットワークを使用するとともに、このネットワークモデルの性能向上を目指してGAN（敵対的生成ネットワーク）の適用を検討し、日本音響学会において研究発表をおこなった。同時に、従来から用いてきた再帰的ネットワーク構造と非再帰的構造の比較をおこない、それらの特徴や性能を明らかにした。これらの研究結果は、日本音響学会九州支部の発表会において公表した。本研究の成果は、口唇動画という最小限の調音情報からでも、了解可能な音声を合成できることを示している。特に、調音情報にはピッチや有声・無声のような音源に関連した情報が含まれていないことから、口唇の動きに関する時系列データを手がかりとして、アクセントやイントネーションまでを再現できることは注目に値すると言える。

Information Technology Research on Sound Synthesis and Enhancement of Sound System The tone, sound, sound. The same measurement method was used to complete the collection of 2 adults and 3 adults. In the beginning, the research progress was determined. The audio emphasis is applied to the MRI and sound recording at the same time, and the audio emphasis is removed from the MRI at the time of future imaging. Lip animation sound synthesis in the middle of the discussion, the collection of sound and sound in the middle of the discussion, the Japanese Society of Acoustics in the middle of the research table. At the same time, the characteristics and properties of the new structure and the non-new structure are clearly compared. The results of this study were presented at the Kyushu Branch of the Japan Sound Society. The results of this study include: minimum tuning information of lip animation; understanding of possible sound synthesis; and Special, tone information, sound, silence, sound source, related information, including, but not limited to, mouth movement, time series, reproduction, attention, etc.

项目成果

音分類課題において有効な位相情報の表現に関する検討

声音分类任务中相位信息的有效表示研究

• 发表时间: 2021
• 作者: 日髙駿介;若宮幸平;鏑木時彦
• 通讯作者: 鏑木時彦

音響学講座 音声（上）

声学课程音频 (1)

• 发表时间: 2021
• 作者: 日髙駿介;若宮幸平;鏑木時彦;滝口哲也（編著）鏑木時彦他（著）
• 通讯作者: 滝口哲也（編著）鏑木時彦他（著）

An Investigation of the Effectiveness of Phase for Audio Classification

• DOI: 10.1109/icassp43922.2022.9746037
• 发表时间: 2021-10
• 期刊: ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: Shunsuke Hidaka;Kohei Wakamiya;T. Kaburagi

九州大学 研究者情報

九州大学研究员信息

TransformerとGANを用いた口唇動画音声合成

使用 Transformer 和 GAN 合成唇形视频音频

• 发表时间: 2023
• 作者: Shunsuke Hidaka;Yogaku Lee;Moe Nakanishi;Kohei Wakamiya;Takashi Nakagawa;Tokihiko Kaburagi;鏑木時彦;藤田直明，南汰翼，鏑木時彦
• 通讯作者: 藤田直明，南汰翼，鏑木時彦