Construction of Multimodal Emotion Representation Model for Computer Animation

计算机动画多模态情感表达模型的构建

• 批准号: 14208031
• 负责人: SHIRAI Katsuhiko
• 金额: $ 26.87万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14208031/
• 关键词: computer animation; multimodal emotion representation model; computer graphics; character animation; prosody control; motion control; motion generation; 感情表出モデル; 映像制作; ディジタルアクタ; 韻律情報

To clarify how emotion appears in speech sound, we analyzed it using rakugo comic stories speech data, which is a kind of the most natural and emotional speech data. As a result the variance in speech sound with emotion mainly appears at the end of utterance. Then we focused on laughing voice as an emotion representation in physiological function. As a result of its analysis f0 frequency and phoneme timing are the fundamental features to perceive the voice as laughing.Then to generate motion with emotion from language instructions we constructed emotion representation model, in which the relation between the emotional words and the motion is described as a binary tree. Then we implemented the virtual actor system, which consists of the emotion representation component to generate target motion from language instructions using the emotion representation model, and the emotion learning component to update the emotion representation model when an unknown word is given. As a result of the evaluation experiment our system generates the appropriate motion with emotion.Finally, in order to clarify the relation between the signals of video and sound and the emotion which we perceive from them, we analyzed it using the visual and speech data with emotion. As a result speakers represent emotional level by the change of not facial expression but voice. At the same time listeners recognize the kind of emotion from the speakers' facial expression, and perceive the level of the emotion from the speakers' voice.

为了阐明情感是如何出现在语音中的，我们使用了乐歌漫画故事语音数据进行了分析，这是一种最自然、最情绪化的语音数据。因此，语音与情感的变异主要出现在话语的末尾。然后重点研究了笑声作为一种情绪表征在生理功能中的作用。通过对语音频率和音素时序的分析，提出了将语音感知为笑声的基本特征；然后，为了从语言指令中产生带有情感的动作，我们构建了情感表征模型，其中情感词与动作之间的关系被描述为二叉树。在此基础上实现了虚拟演员系统，该系统由情感表征组件和情感学习组件组成，情感表征组件利用情感表征模型从语言指令中生成目标动作，情感学习组件用于在给定未知词时更新情感表征模型。最后，为了弄清视频和声音信号与我们感知到的情感之间的关系，我们利用带有情感的视觉和语音数据对其进行了分析。因此，说话人通过声音而不是面部表情的变化来表达情感水平。同时，听者从说话人的面部表情中识别情感的种类，从说话人的声音中感知情感的程度。

项目成果

人物動作における感情表出モデル構築に向けたディジタルアクタ学習システムの設計

数字演员学习系统的设计，用于构建人体动作中的情感表达模型

• 发表时间: 2003
• 期刊: 第9回画像センシングシンポジウム講演論文集
• 作者: 大隈 健史;長船 大毅;森野 岳宏;村上 真;白井 克彦
• 通讯作者: 白井 克彦

モーションキャプチャデータを用いた歩行動作の分析と制御

使用运动捕捉数据分析和控制行走运动

• 发表时间: 2003
• 期刊: 人工知能学会 全国大会(第17回)論文集 2C3-04(CD-ROM)
• 作者: 長船 大毅;森野 岳宏;大隈 健史;村上 真;白井 克彦
• 通讯作者: 白井 克彦

パラ言語情報を用いた音声対話システム

使用副语言信息的语音对话系统

• 发表时间: 2003
• 期刊: 日本音響学会秋季研究発表会講演論文集 1-6-20
• 作者: 藤江 真也;八木 大三;菊池 英明;小林 哲則
• 通讯作者: 小林 哲則

Construction of Digital Actor Learning System for Building Emotive Model of Human Behavior

构建人类行为情感模型的数字演员学习系统的构建

• 发表时间: 2003
• 期刊: Proc.of 9^<th> Symposium on Sensing via Image Information
• 作者: Takeshi Okuma;Daiki Osafune;Takehiro Morino;Makoto Murakami;Katsuhiko Shirai
• 通讯作者: Katsuhiko Shirai

Spoken Dialogue System Using Para-Linguistic Information

使用副语言信息的口语对话系统

• 发表时间: 2003
• 期刊: Proc.of the autumn meeting of The Acoustical Society of Japan 1-6-20
• 作者: Shinya Fujie;Daizo Yagi;Hideaki Kikuchi;Tetsunori Kobayashi
• 通讯作者: Tetsunori Kobayashi