認知モデルと常識ベースに基づく情動を含む音声コミュニケーション

语音通信，包括基于认知模型和常识的情感

• 批准号: 08F08049
• 负责人: 広瀬 啓吉
• 金额: $ 1.02万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08F08049/
• 关键词: 情動・感性; 認知モデル; 音声合成; 韻律; 基本周波数; 発話速度; 情動判別; Life Logging; Support Vector Machine

昨年度、文の情動の程度を数値として表し、そこに含まれる感情の指標を抽出することを進めた。本年度は、その手法を高度化するとともに、得られる指標を合成音声に反映させることを中心に研究を進め、下記成果を達成した。1.ニュース文について、動詞に着目して各句の肯定/否定の程度を評点として数値化した上で、順接、逆節といった句間の関係から、文全体の肯定/否定の程度を評点として与える手法を開発した。評点を用いて、英語音声合成フリーウェアのMARY音声合成システムの韻律を制御することを行った。お祭りのニュースなど、文内容が肯定的な場合は基本周波数/発話速度を上げ、事故のような、否定的な場合は、下げることを基本とする制御を行うことにより、文内容にふさわしい合成音声を得た。2.認知モデルの立場から、喜び、悲しみなどの感情を、肯定/否定、興奮/抑制といった軸によって定式化し、文内容に含まれる感性情報を抽出する手法を開発した。肯定/否定、興奮/抑制の値によりMARY音声合成システムの韻律を制御することを行い、合成音声の聴取実験により抽出した感情が適切に反映されることを確認した。3.音声からそこに含まれる情動/感性を抽出する手法について、音響部分の構築として、スペクトルの周波数と時間方向の変化の特徴と韻律的特徴を用い、Support Vector Machine等による判別を行うことで、定型文に限定されているが、肯定と否定の情動の判別率90%を達成した。4.人間が生活する際に発生する種々の音から、人間の活動を推定する手法(Life Logging)の開発を進めた。音声認識で使われているMFCCを特徴量としたHMMを用いることで良好な音認識が可能なことを示した。

去年，我们提议将情感的程度表达为句子的数值价值，并提取其中所包含的情感指标。今年，我们一直在进行研究，重点是改善该方法并反映合成语音中获得的指标，从而取得了以下结果。 1。在新闻句子中，我们开发了一种方法，将每个短语的肯定/否定程度作为评级，专注于动词，然后基于远期和倒数从句等短语之间的关系，将整个句子作为评级的肯定/否定程度。这些评分用于控制英语语音合成免费软件的玛丽语音综合系统的韵律。通过控制句子的内容为正面的基本频率/说话速度，例如节日新闻，以及在句子的内容为正时降低降低基础的基础，例如事故，可以获得适用于句子内容的综合声音。 2。从认知模型的角度来看，我们开发了一种基于肯定/否定，兴奋/抑制的轴的喜悦和悲伤之类的情绪的方法，并提取文本内容中包含的灵敏度信息。玛丽语音合成系统的韵律受正/消极和兴奋/抑制的价值控制，而合成的语音听力实验证实了提取的情绪得到了适当的反映。 3。关于从声音中提取其中包含的情感/灵敏度的方法，我们使用了90％的正面和负面影响的歧视率，使用频率和频谱特征的特征和韵律特征的特征来构建声学部分，并使用支持向量机进行歧视。 4。我们一直在开发一种从人类生活时发生的各种声音中估算人类活动的方法。已经表明，通过使用HMM可以使用语音识别中使用的MFCC作为功能，可以通过使用HMM来识别良好的声音识别。

项目成果

Assigning suitable phrasal tones and pitch accents by sensing affective information from text to synthesize human-like speech

通过感知文本中的情感信息来分配合适的短语语气和音高重音，以合成类似人类的语音

• 发表时间: 2008
• 期刊: Proceedings of Interspeech 1(CD-ROM)
• 作者: Fagen Li;Masaaki Shirase;Tsuyoshi Takagi;Mostafa Al Masum Shaikh
• 通讯作者: Mostafa Al Masum Shaikh

An Approach for Ambient Communication by Detecting Real-world Activities from Environmental Sound Cues

一种通过环境声音提示检测现实世界活动的环境通信方法

• 发表时间: 2008
• 作者: Mostafa Al Masum Shaikh;Helmut Prendinger;Keikichi Hirose;Mitsuru Ishizuka
• 通讯作者: Mitsuru Ishizuka

Easy Living in the Virtual World : A Noble Approach to Integrate Real World Activities to Virtual Worlds

在虚拟世界中轻松生活：将现实世界活动整合到虚拟世界的崇高方法

• 发表时间: 2010
• 期刊: International Journal of Web Intelligence and Agent Systems 1(印刷中)(掲載確定)
• 作者: Fagen Li;Masaaki Shirase;Tsuyoshi Takagi;Mostafa A1 Masum Shaikh
• 通讯作者: Mostafa A1 Masum Shaikh

Improving TTS Synthesis fbr Emotional Expressivity by a Prosodic Parameterization of Affect based on Linguistic Analysis

基于语言分析的情感韵律参数化提高 TTS 合成的情感表达能力

• 发表时间: 2010
• 期刊: Proceedings of INTERSPEECH 2009 1(印刷中)(掲載確定)
• 作者: Fagen Li;Masaaki Shirase;Tsuyoshi Takagi;Mostafa A1 Masum Shaikh
• 通讯作者: Mostafa A1 Masum Shaikh

Emotional Speech Synthesis by Sensing Affective Information from Text

通过从文本中感知情感信息来合成情感语音

• 发表时间: 2009
• 作者: Mostafa Al Masum Shaikh;Antonio Rui Ferreira Rebordao;Keikichi Hirose;Mitsuru Ishizuka
• 通讯作者: Mitsuru Ishizuka