言語情報とパラ言語情報を統合した音声の構造的表象の提案とその音声合成への応用

整合语言和副语言信息的语音结构表示的提出及其在语音合成中的应用

• 批准号: 19650036
• 负责人: 峯松 信明
• 金额: $ 2.11万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19650036/
• 关键词: 音声の構造的表象; f-divergence; 写像不変量; 空間探索; 言語的情報・パラ言語的特徴; 音声合成; 音声模倣; 言語獲得; 語ゲシュタルト; 話者不変量; 音声生成・合成

音声が運ぶ情報は大きく,言語的情報,パラ言語的情報,非言語的情報に分かれる。我々は音声から非言語的情報に相当する音響特徴量のみを分離する方法を提案している。年齢・性別による音声の音響的変形,収録機器・伝送機器による音声の音響的変形はいずれも,静的な空間写像として数学的にモデル化できる。よって,写像不変量でもって音声を表象・モデル化することで,静的な変形(変換)に不変な音声情報処理が可能となる。我々は分布間の距離尺度であるf-divergenceが如何なる変換に対しても不変であることを証明しており,発声中の全ての音響事象を分布として捉え,任意の二分布間(事象間)距離を計測し,距離行列として音声を(話者不変的に)表象する手法を提案している。距離行列は一つの幾何学的形態を規定するため,これを音声の構造的表象と呼んでいる。非言語情報がそぎ落とされるということは,言語情報とパラ言語情報のみが表象された音声表象であることを意味する。本研究では,この構造表象に対して,非言語的情報である話者の性別,年齢,体格(即ち声道形状)を戻すことで音声を生成する枠組みを検討した。即ち,言語情報,パラ言語情報は構造として与えられ,その構造を音に変換する声道の長さや形状の情報(非言語的情報)を付与することで音に変換する枠組みである。具体的には,幾つかの既に実現された音事象を初期条件として与え,構造的表象を制約条件としてその後の音事象を次々と音響空間内に定位する方法を採択した。この場合,定位済みの事象群をn個とすると,このn個の事象を中心とする超楕円を描き,n個の超楕円の交点が次に生成すべき音の定位場所,となる。この探索問題を計算機上に実装し,また,いくつかの高速化アルゴリズムを検討することで,現実的な計算量で構造からの音声生成を可能にした。この音声生成方式は,言語情報+パラ言語情報が混在した音声表象(構造的表象)を出発点として音を導出するという点が従来の音声生成方式とは大きく異なる。

Sound が transport ぶ information く large く く, verbal information パラ verbal information, non-verbal information に divided into れる れる. I 々 は sounds か ら nonverbal intelligence に quite す る acoustics, 徴 quantity の み を separation す る method proposed を し て い る. Years 齢 · gender に よ る sounds の sound variations of shape, 収 record machine, 伝 send machine に よ る sounds の acoustics - shape は い ず れ も, static な space to write like と し て mathematical に モ デ ル change で き る. よ っ て, write like no - で も っ て sounds を representation, モ デ ル change す る こ と で, static な (-) - shape に - not な sounds intelligence 処 Richard が may と な る. I 々 は の distance between distribution scale で あ る f - divergence が how な る variations in に し seaborne て も - not で あ る こ と を prove し て お り, the sound 発 の all て の sound things like を distribution と し て catch え, arbitrary の (things like between) distance between two distribution を measuring し, distance among と し て sounds を representation (words - not に) す る gimmick し を bill Youdaoplaceholder0 て る. The distance between the rows and columns を - the shape of <s:1> geometry を stipulates するため, れを れを the appearance of the structure of the sound <s:1> と call んで る る る. Nonverbal intelligence が そ ぎ fall と さ れ る と い う こ と は, verbal intelligence と パ ラ verbal intelligence の み が representation さ れ た sounds representation で あ る こ と を mean す る. This study で は, こ の structure representation に し seaborne て, nonverbal intelligence で あ る の gender, the speaker's words in 齢, physique (namely ち channel shape) を 戻 す こ と で sounds を generated す る 枠 group み を beg し 検 た. Namely ち, verbal intelligence, パ ラ verbal intelligence は tectonic と し て and え ら れ, そ を sound に の structure variations in す る long track の さ や shape の intelligence (nonverbal intelligence) を give す る こ と で sound に variations in す る 枠 group み で あ る. Specific に は, several つ か の に both be presently さ れ た sound things like を initial conditions と し て え and structural representation を restriction conditions と し て そ の sound things like を time since の 々 に と acoustics space positioning す る method を mining 択 し た. こ の occasions, positioning 済 み の thing elephant を n と す る と, こ の n の things like を center と す る super 楕 has drifted back towards &yen; を tracing き, n の super 楕 has drifted back towards &yen; の intersection が times に generated す べ き の positioning places, と な る. こ の explore problems に を computer be し, ま た, い く つ か high speed の ア ル ゴ リ ズ ム を beg す 検 る こ と で, now be な computation で tectonic か ら の sounds possible に を し た. こ の way sounds generated は, verbal intelligence + パ ラ verbal intelligence が mixed し た representation (construction) sounds representation を と 発 point し て sound を export す る と い う point が 従 to の sounds generation と は big き く different な る.