認知モデルと常識ベースに基づく情動を含む音声コミュニケーション

语音通信，包括基于认知模型和常识的情感

• 批准号: 08F08049
• 负责人: 広瀬 啓吉
• 金额: $ 1.02万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08F08049/
• 关键词: 情動・感性; 認知モデル; 音声合成; 韻律; 基本周波数; 発話速度; 情動判別; Life Logging; Support Vector Machine

昨年度、文の情動の程度を数値として表し、そこに含まれる感情の指標を抽出することを進めた。本年度は、その手法を高度化するとともに、得られる指標を合成音声に反映させることを中心に研究を進め、下記成果を達成した。1.ニュース文について、動詞に着目して各句の肯定/否定の程度を評点として数値化した上で、順接、逆節といった句間の関係から、文全体の肯定/否定の程度を評点として与える手法を開発した。評点を用いて、英語音声合成フリーウェアのMARY音声合成システムの韻律を制御することを行った。お祭りのニュースなど、文内容が肯定的な場合は基本周波数/発話速度を上げ、事故のような、否定的な場合は、下げることを基本とする制御を行うことにより、文内容にふさわしい合成音声を得た。2.認知モデルの立場から、喜び、悲しみなどの感情を、肯定/否定、興奮/抑制といった軸によって定式化し、文内容に含まれる感性情報を抽出する手法を開発した。肯定/否定、興奮/抑制の値によりMARY音声合成システムの韻律を制御することを行い、合成音声の聴取実験により抽出した感情が適切に反映されることを確認した。3.音声からそこに含まれる情動/感性を抽出する手法について、音響部分の構築として、スペクトルの周波数と時間方向の変化の特徴と韻律的特徴を用い、Support Vector Machine等による判別を行うことで、定型文に限定されているが、肯定と否定の情動の判別率90%を達成した。4.人間が生活する際に発生する種々の音から、人間の活動を推定する手法(Life Logging)の開発を進めた。音声認識で使われているMFCCを特徴量としたHMMを用いることで良好な音認識が可能なことを示した。

Get annual, wen の の degree を the numerical と し て table し, そ こ に containing ま れ る feelings の index を spare す る こ と を into め た. This year は, そ の gimmick を す empirically る と と も に, ら れ る indicator を synthetic voice に さ せ る こ と を center under を め, remember に research を reached し た. 1. ニ ュ ー ス article に つ い て, verbs with mesh し に て each other の yes/no の degree を tip と し て the numerical change し た で, and section, reverse と い っ た sentences between の masato is か ら, all の yes/no の degree を tip と し て and え る gimmick を open 発 し た. Tip を with い て, English voice synthesis フ リ ー ウ ェ ア の MARY voice synthesis シ ス テ ム の rhythm を suppression す る こ と を line っ た. お offering り の ニ ュ ー ス な ど, text content が sure な は basic cycle count / 発 words speed を げ, accident の よ う な, negative は な occasions, under げ る こ と を basic と す る suppression を line う こ と に よ り, text content に ふ さ わ し い synthetic sounds を た. 2. Cognitive モ デ ル の position か ら, joy び and grief し み な ど の feelings を, yes/no, excited/suppression と い っ た shaft に よ っ て demean し, text content に ま れ る emotional intelligence を spare す る gimmick を open 発 し た. Yes/no, excited/inhibition on の numerical に よ り MARY voice synthesis シ ス テ ム の rhythm を suppression す る こ と を い, synthetic sounds の 聴 take be 験 に よ り spare し た feelings が appropriate に reflect さ れ る こ と を confirm し た. 3. Sounds か ら そ こ に containing ま れ る hearts/perceptual を spare す る gimmick に つ い て, acoustics part の build と し て, ス ペ ク ト ル の cycle for と time direction の omens の - 徴 と rhythm of 徴 を い, Support Vector Machine such as に よ る line discriminant を う こ と で, finalize the design に qualified さ れ て い る が, recognizing the と negative の の discriminant rate 90% を reached し た. 4. Human が Life す る interstate に 発 raw す る kind 々 の sound か ら presumption, human の を す る technique (Life Logging) の open 発 を into め た. Sounds to know で that わ れ て い る MFCC を, 徴 quantity と し た HMM を with い る こ と で good が な sound understanding may な こ と を shown し た.

项目成果

Automatic Life-Logging: A novel approach to sense real-world activities by environmental sound cues and common sense

自动生活记录：一种通过环境声音提示和常识来感知现实世界活动的新颖方法

• DOI: 10.1109/iccitechn.2008.4803018
• 发表时间: 2008
• 期刊: 2008 11th International Conference on Computer and Information Technology
• 作者: M. Shaikh;M. I. Molla;Keikichi Hirose
• 通讯作者: Keikichi Hirose

Assigning suitable phrasal tones and pitch accents by sensing affective information from text to synthesize human-like speech

通过感知文本中的情感信息来分配合适的短语语气和音高重音，以合成类似人类的语音

• 发表时间: 2008
• 期刊: Proceedings of Interspeech 1(CD-ROM)
• 作者: Fagen Li;Masaaki Shirase;Tsuyoshi Takagi;Mostafa Al Masum Shaikh
• 通讯作者: Mostafa Al Masum Shaikh

An Approach for Ambient Communication by Detecting Real-world Activities from Environmental Sound Cues

一种通过环境声音提示检测现实世界活动的环境通信方法

• 发表时间: 2008
• 作者: Mostafa Al Masum Shaikh;Helmut Prendinger;Keikichi Hirose;Mitsuru Ishizuka
• 通讯作者: Mitsuru Ishizuka

Emotional Speech Synthesis by Sensing Affective Information from Text

通过从文本中感知情感信息来合成情感语音

• 发表时间: 2009
• 作者: Mostafa Al Masum Shaikh;Antonio Rui Ferreira Rebordao;Keikichi Hirose;Mitsuru Ishizuka
• 通讯作者: Mitsuru Ishizuka

Easy Living in the Virtual World : A Noble Approach to Integrate Real World Activities to Virtual Worlds

在虚拟世界中轻松生活：将现实世界活动整合到虚拟世界的崇高方法

• 发表时间: 2010
• 期刊: International Journal of Web Intelligence and Agent Systems 1(印刷中)(掲載確定)
• 作者: Fagen Li;Masaaki Shirase;Tsuyoshi Takagi;Mostafa A1 Masum Shaikh
• 通讯作者: Mostafa A1 Masum Shaikh