構音障がい者のための声質変換

构音障碍患者的语音质量转换

• 批准号: 14J04514
• 负责人: 相原 龍
• 金额: $ 1.79万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2017-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J04514/
• 关键词: 声質変換; 障がい者支援; 識別学習; 発話リズム; Duration; 構音障がい; 脳性麻痺; アテトーゼ現象; 不特定話者; 発話支援; 障がい者福祉

声質変換は，ある話者の声をあたかも別人が発話しているかのように変換する技術である．アテトーゼ型脳性麻痺による構音障がい者の不明瞭な発話を，この声質変換技術を用いて聞き取りやすく変換することが本研究の目標である．声質変換技術はテキスト認識を行わない，音声から音声へ変換するシステムであるため，手足の動きが不自由な発話障がい者にとっても使いやすい技術であると考えられる．本年度は，声質変換精度の向上を目標として，「識別的学習」と「発話リズム変換」の２つのタスクに取り組んだ．構音障がい者発話が不明瞭になる原因として，音素の曖昧性が指摘されている．音素は音声において分割可能な最小単位とされている．構音障がい者は，口や舌など発話する機構が不自由であるため，健常者と比較して発話が曖昧になりやすい．提案手法では，これまで我々が研究してきた，構音障がい者の声質変換で用いられてきたアルゴリズムに，音素を識別するモデルを導入し，発話が明瞭に変換されるよう改良を加えた．この研究成果は，音声信号処理において世界最大級の国際学会INTERSPEECH2016において発表された．構音障害がい者の発話の特徴として，発話が不自然に間延びするという点がある．健常者の発話リズムは基本的に一定であるのに対して，障がい者の発話リズムは，その前後の音素の関係や発話者の体調によって大きく変化する．この発話リズムの変動が，障がい者の発話を聞き取りにくくする原因の一つとなっていた．発話リズムの変換はこれまで例が少なく，特に声質変換システムにおいて，発話リズムは入力話者のものをそのまま用いることがほとんどであった．そのため，発話リズムを変換する新たな特徴量を提案し，リズムを健常者に近づけることに成功した．これらの研究成果は日本音響学会ならびに電子情報通信学会で発表され，現在，INTERSPEECH2017に投稿中である．

The voice quality changes, the voice of the speaker changes, and the voice of the speaker changes. The purpose of this study is to investigate the application of sound quality conversion technology in the field of sound quality conversion. Sound quality change technology is the key to understanding sound quality change technology. Sound quality change technology is the key to understanding sound quality. This year, the goal of improving the accuracy of sound quality conversion is to "learn from recognition" and "change from speech". The reason why the phoneme is ambiguous is unclear, and the ambiguity of phoneme is unclear. Phoneme sound segmentation is possible at the smallest possible unit. The sound barrier is not free, the tongue is not free, the sound barrier is not free, the tongue is not free, and the sound barrier is not free. The proposed method is to study and improve the sound quality of the sound barrier, to identify the phonemes, to introduce the sound barrier, and to clarify the sound quality of the sound barrier. This research achievement is the world's largest international society for acoustic signal processing INTERSPEECH2016. The characteristics of the speech in the middle of the sound barrier, the speech is not natural, the delay is too long, the middle point is too long. The normal speaker's voice is different from the basic one. The normal speaker's voice is different from the basic one. The normal speaker's voice is different from the basic one. The reason for this is that the voice is not moving, and the voice is not moving. The voice of the voice is different from the voice of the voice of the voice, and the voice of the voice is different from the voice of the voice. The new features of the game are proposed, and the game is successful. The research results were submitted to the Japan Sound Society and the Electronic Information Communication Society. Now, INTERSPEECH2017 is in submission.

项目成果

Noise-Robust Voice Conversion Based on Sparse Spectral Mapping Using Non-negative Matrix Factorization

• DOI: 10.1587/transinf.e97.d.1411
• 发表时间: 2014-06
• 期刊: IEICE Trans. Inf. Syst.
• 作者: Ryo Aihara;R. Takashima;T. Takiguchi;Y. Ariki

Audio-Visual Speech Recognition Using Convolutive Bottleneck Networks for a Person with Severe Hearing Loss

• DOI: 10.2197/ipsjtcva.7.64
• 发表时间: 2015
• 期刊: IPSJ Trans. Comput. Vis. Appl.
• 作者: Yuki Takashima;Yasuhiro Kakihara;Ryo Aihara;T. Takiguchi;Y. Ariki;Nobuyuki Mitani;K. Omori;Kaoru Nakazono

非負値行列因子分解に基づく唇動画像からの音声生成

基于非负矩阵分解的唇动图像语音生成

• 发表时间: 2015
• 作者: 真坂健太;相原 龍;滝口哲也;有木康雄
• 通讯作者: 有木康雄

スパース辞書学習による構音障害者の話者性を維持した声質変換

通过稀疏字典学习保持构音障碍患者的说话人特征的语音质量转换

• 发表时间: 2014
• 期刊: 電子情報通信学会技術研究報告
• 作者: 赤井 菜々美;大澤 志津江;井垣 達吏;Kenta Endo;相原 龍，滝口哲也，有木康雄
• 通讯作者: 相原 龍，滝口哲也，有木康雄

isual-to-Speech Conversion Based on Maximum Likelihood Estimation

基于最大似然估计的语音转换

• 发表时间: 2017
• 作者: Filiz Yesilkoy;Ryohei Ueno;Benoit X. E. Desbiolles;Marco Grisi;Yasuyuki Sakai Beomjoon Kim;and Juergen Brugger;羅里奈
• 通讯作者: 羅里奈