言語情報とパラ言語情報を統合した音声の構造的表象の提案とその音声合成への応用

整合语言和副语言信息的语音结构表示的提出及其在语音合成中的应用

• 批准号: 19650036
• 负责人: 峯松 信明
• 金额: $ 2.11万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19650036/
• 关键词: 音声の構造的表象; f-divergence; 写像不変量; 空間探索; 言語的情報・パラ言語的特徴; 音声合成; 音声模倣; 言語獲得; 語ゲシュタルト; 話者不変量; 音声生成・合成

音声が運ぶ情報は大きく,言語的情報,パラ言語的情報,非言語的情報に分かれる。我々は音声から非言語的情報に相当する音響特徴量のみを分離する方法を提案している。年齢・性別による音声の音響的変形,収録機器・伝送機器による音声の音響的変形はいずれも,静的な空間写像として数学的にモデル化できる。よって,写像不変量でもって音声を表象・モデル化することで,静的な変形(変換)に不変な音声情報処理が可能となる。我々は分布間の距離尺度であるf-divergenceが如何なる変換に対しても不変であることを証明しており,発声中の全ての音響事象を分布として捉え,任意の二分布間(事象間)距離を計測し,距離行列として音声を(話者不変的に)表象する手法を提案している。距離行列は一つの幾何学的形態を規定するため,これを音声の構造的表象と呼んでいる。非言語情報がそぎ落とされるということは,言語情報とパラ言語情報のみが表象された音声表象であることを意味する。本研究では,この構造表象に対して,非言語的情報である話者の性別,年齢,体格(即ち声道形状)を戻すことで音声を生成する枠組みを検討した。即ち,言語情報,パラ言語情報は構造として与えられ,その構造を音に変換する声道の長さや形状の情報(非言語的情報)を付与することで音に変換する枠組みである。具体的には,幾つかの既に実現された音事象を初期条件として与え,構造的表象を制約条件としてその後の音事象を次々と音響空間内に定位する方法を採択した。この場合,定位済みの事象群をn個とすると,このn個の事象を中心とする超楕円を描き,n個の超楕円の交点が次に生成すべき音の定位場所,となる。この探索問題を計算機上に実装し,また,いくつかの高速化アルゴリズムを検討することで,現実的な計算量で構造からの音声生成を可能にした。この音声生成方式は,言語情報+パラ言語情報が混在した音声表象(構造的表象)を出発点として音を導出するという点が従来の音声生成方式とは大きく異なる。

The sound is full of feelings, the feelings of words, the feelings of words, and the feelings of non-words. I am sorry for the sound, the non-verbal love, the sound, the volume, the separation, the method, the proposal. The age is different from the shape of the sound sound, the shape of the sound sound of the transmission machine, the shape of the sound sound, and the quiet space is written like the mathematics of mathematics. If you don't know what you're going to do, it's like you don't know what you're going to do, and you're going to have a lot of sound and emotion. How do we determine the distance between the distribution and the f-divergence? how to detect the sound in the distribution, the full sound in the sound, the distance between the two distributions, the distance between the two distributions, the sound in the queue, the sound, the sound, the sound and the sound. As soon as you are away from the ranks, the shape of how you learn is defined, and the appearance created by the sound is called out. If you don't say anything about love, you don't have to say anything about love. You don't have to say anything about love. The purpose of this study is to create the appearance and sound of non-verbal emotions, such as sex, age, and physique (that is, the shape of the sound channel). That is, love, love In terms of the specific situation, it can be seen that the initial condition of the sound is different from that of the initial condition, and that the representation of the sound is different from that of the sound in the space after the sound is broken. If you are in a good relationship, you will be able to locate a group of events, the center of an event, the center of an event, and the intersection point of an event to generate an audio location. In order to explore the problem, the equipment is installed on the computer, and the high-speed equipment is installed on the computer. The calculation volume of the computer is used to generate sound that is possible. The sound generation mode, the sound generation mode, the sound generation mode,