人間による音声情報処理過程の分析とそれを応用した音声対話インターフェイスの構築

分析人类语音信息处理过程并利用该分析构建语音对话界面

• 批准号: 16016219
• 负责人: 峯松 信明
• 金额: $ 7.42万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16016219/
• 关键词: 構造不変の定理; 音響的普遍構造; 構造音韻論; 聴覚生理学; 音的差異; 音声インターフェイス; 音声対話システム; ゲシュタルト; パラ言語情; 構造サイズ; 韻律的特徴

音声によって伝搬される情報は,言語情報,パラ言語情報,非言語情報に分類される。従来の音声情報処理パラダイムでは,まずパラ言語情報を音声の物理現象から分離し,言語情報+非言語情報となった音声に対して,非言語情報の和をとることで(即ち,数千,数万という話者の音声を集めることで)言語情報を抽出する,という方法論を構築してきた。聴覚生理学,脳科学の知見によれば,言語情報と非言語情報は分離して脳で処理されているとのモデルが提案されている。即ち「集めること」なく,両者を分離できる,ということである。本研究では,音声の物理現象から話者,音響機器特性などの静的な非言語情報を分離する枠組みを,脳科学の知見を考慮しつつ提案した。その応用として,一人の話者の音声を用いた不特定話者音声認識や,感情・意図といったパラ言語情報の高精度抽出を実現した。ケプストラムの時系列として表現される音声スペクトルを分布系列へと変換し,任意の二分布間距離と求める。この時,非ユークリッド空間における分布間距離を採用する(バタチャリヤ距離)と,非言語的特徴を表現する数学モデルであるアフィン変換に対して,分布間距離は不変となる。全ての二分布間距離を求めることは,全分布で張られる幾何学構造を規定することに等しいが,距離不変は構造不変の性質をもたらす。これは,構造音韻論と呼ばれる言語学の一分野を数学的,物理学的に解釈することに成功したことを意味する。音的差異(コントラスト)のみに着眼して音声を構造的に表象する方法論に基づいて,音声認識,及び感情・意図推定を検討した。前者については,孤立母音系列という非常に限られたタスクではあるが,四千人以上の音声データを用いた音響モデルよりも高い精度を示し,後者においても,ピッチに関する情報を付与することで従来方法と比較して,より精度の高い方法を実現した。

Audio によって伝 moving される intelligence によって伝, verbal intelligence パラ verbal intelligence, non-verbal intelligence に classification される. 従 to の voice information 処 Richard パ ラ ダ イ ム で は, ま ず パ ラ verbal intelligence を sounds の physical phenomena か ら separation し, verbal intelligence + nonverbal intelligence と な っ た sounds に し seaborne て, nonverbal intelligence の and を と る こ と で (namely ち, thousands, tens of thousands of と い う の sounds of the speaker's words を set め る こ と で) verbal intelligence を spare す る, と い を う methodology to construct し て き Youdaoplaceholder0. Hearing physiology, の 脳 science knowledge に よ れ ば, verbal intelligence と nonverbal intelligence は separation し て 脳 で 処 Richard さ れ て い る と の モ デ ル が proposal さ れ て い る. Namely ち "set め る こ と" な く, who struck を separation で き る, と い う こ と で あ る. This study で は, sounds の physical phenomena か ら words, sound machine features な ど の static な nonverbal intelligence を separation す る 枠 group み を, の 脳 science knowledge を consider し つ つ proposal し た. そ の 応 with と し て, one の の sounds of the speaker's words を with い た no particular words sounds know や, emotion, meaning 図 と い っ た パ ラ verbal intelligence の high-precision extraction を be presently し た. When ケ プ ス ト ラ ム の series と し て performance さ れ る sounds ス ペ ク ト ル を distribution series へ と variations in し, arbitrary の the distance between the two distribution め と o る. こ の, non ユ ー ク リ ッ ド space に お け る distribution distance between を using す る (バ タ チ ャ リ ヤ distance) と, non-verbal, 徴 を performance す る mathematical モ デ ル で あ る ア フ ィ ン variations in に し seaborne て, distribution of the distance between the は - not と な る. All て の the distance between the two distribution を o め る こ と は, full distribution で zhang ら れ る を geometry structure regulation す る こ と に etc し い が, distance is not - は structure - not の nature を も た ら す. こ れ は, tectonic theory of phonological と shout ば れ る words learning の eset を math, physics 釈 に solution す る こ と に successful し た こ と を mean す る. Tone differences (コ ン ト ラ ス ト) の み に eyes し て sounds を constructed に representation す る methodology に base づ い て, sounds, and び feelings presumption, meaning 図 を beg し 検 た. The former に つ い て は, isolated vowels series と い う very に limit ら れ た タ ス ク で は あ る が, more than four thousand people の sounds デ ー タ を with い た sound モ デ ル よ り も high precision い を し, the latter に お い て も, ピ ッ チ に masato す る intelligence を give す る こ と で 従 と compared to method し て, よ り の high precision を い method be presently し た.

项目成果

Mathematical evidence of the acoustic universal structure in speech

语音中声学通用结构的数学证据

• 发表时间: 2005
• 期刊: Proc.ICASSP
• 作者: 峯松信明;西村多寿子;櫻庭京子;N.Minematsu
• 通讯作者: N.Minematsu

Japanese vowel recognition using external structure of speech

使用语音外部结构的日语元音识别

• 发表时间: 2005
• 期刊: Proc. IEEE Automatic Speech Recognition and Understanding Workshop
• 作者: T. Murakami;K. Maruyama;N. Minematsu;K. Hirose
• 通讯作者: K. Hirose

構造不変の定理とそれに基づく音声ゲシュタルトの導出

结构不变性定理及基于其的语音格式塔推导

• 发表时间: 2005
• 期刊: 電子情報通信学会音声研究会資料 SP2005-12
• 作者: 峯松信明;西村多寿子;西成活広裕;櫻庭京子
• 通讯作者: 櫻庭京子

構造不変の定理に基づく音声の構造的表象とその距離尺度

基于结构不变性定理的语音结构表示及其距离测度

• 发表时间: 2005
• 期刊: 日本音響学会春季講演論文集
• 作者: 藤野;峯松;広瀬;峯松他5人
• 通讯作者: 峯松他5人

The acoustic universal structure in speech and its correlation to para-linguistic information in speech

语音中的声学通用结构及其与语音中的副语言信息的相关性

• 发表时间: 2004
• 期刊: Proc.Int.Workshop on Man-machine Symbiotic Systems
• 作者: 丸山;村上;峯松;広瀬;N.Minematsu et al.
• 通讯作者: N.Minematsu et al.