音響情報からの感情情報抽出とそのヒューマンインタフェースへの応用

从声学信息中提取情感信息及其在人机界面中的应用

• 批准号: 04236216
• 负责人: 森島 繁生
• 金额: $ 1.66万
• 依托单位: Seikei University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1992
• 资助国家: 日本
• 起止时间: 1992 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-04236216/
• 关键词: 感情認識; 音声分析; 表情合成; メディア変換; 基本感情記述

自然音声に含まれる感情の定量化を試み、音声信号から言語情報や感情情報を自動抽出して、表情動画像を合成する新たなメディア変換技術を目指して検討を進めている。今年度は人種によりず表出されると推定される喜び、悲しみ、怒り、嫌悪、恐怖と無感情の6つの基本感情について、実際の音声においてこの特徴がどう表現できるか検討を行なった。まず分析対象となる音声刺激を作成するため、感性表出に熟練していると考えられる劇団員数名と一般学生により、ある情景を相像してもらい演技してもらった。発声する音声は言語情報自体に感情がこめられていないものを選択した。又、発声者と聴取者との主観の違いが生じないように、録音した音声に対して十数名の被験者による聞き取りテストを実施し、その音声からどのような感情が聞き取れるかを答えてもらった。この結果に基づいて客観的に特定の感情が顕著に現われていると思われる刺激を選び出し分析対象とした。分析法は合成による分析への発展を考慮して、パラメータ変化させやすい簡単なものに留めた。すなわちピッチ周期の頻度分布とその時間的な変動、そしてパワースペクトラムの平均と時間変化に着目した。時間変化については個人差が大きく出現し、感情による違いは顕著に現われなかった。しかし、音声区間全体で平均特徴としては無感情時からのピッチ周期変化と高周波パワーの占める割合で6つの基本感情が空間的に特徴づけられることが解かった。一方、顔面表情の定量化を試みとして、多層ニュートラルネットの恒等写像学習による2次元感情空間の自動獲得の試みを行なった。この結果により人物の任意の表情は2次元空間上の座標値によって記述され、表情変化は空間上の軌跡として表現できる。次年度以降は音声から抽出された特徴パラメータから、この感情空間へのマッピングを実現して、音声のみから表情を自動合成できるシステムの実現を目指す。

The quantitative analysis of natural sound, speech and emotion information, and the synthesis of expression animation are discussed in detail. This year, the six basic feelings of happiness, sadness, anger, hatred, terror and no emotion are shown in the expression of race, emotion, emotion and emotion. Analysis of the image, sound stimulation, preparation, perceptual expression, proficiency, examination, etc. Voice, voice, voice. The voice of the speaker, the speaker, the voice of the speaker, the voice of the speaker, the speaker, the voice of the speaker, the speaker, the voice of the The result is that the specific emotion of the guest is present. The analytical method is to consider the development of analytical methods, and to simplify the process. The frequency distribution and time variation of the frequency distribution of the frequency distribution and time variation of the frequency distribution are significant. Time changes, individual differences, feelings, violations, and changes occur. The average characteristic of the whole sound interval is the characteristic of the basic emotion space. One side, facial expression quantification test, multi-layer, multi-dimensional, multi-dimensional, multi- The result is that the character's arbitrary expression is described in terms of coordinates in two-dimensional space, and the expression is transformed into a trajectory in space. In the next year, the voice is extracted, the emotional space is displayed, and the voice is automatically synthesized.

项目成果

上木 伸夫,森島 繁生,他: "ニューラルネットの恒等写像学習による感情空間の構成" 電子情報通信学会技術研究報告. HC92-60. 17-22 (1993)

Nobuo Ueki、Shigeo Morishima 等人：“通过神经网络身份映射学习构建情感空间”IEICE 技术报告 17-22 (1993)。

Shigeo Morishima,他: "Face animation scenario making system for model based image synthesis" Proceedings of Picture Coding Symposium '93. 13.19 (1993)

Shigeo Morishima 等人：“基于模型的图像合成的面部动画场景制作系统”图片编码研讨会论文集 93 13.19 (1993)。

E.Ono,S.Morishima,他: "A modil based shade estimation and reproduction schemes for rotational face" Proceedings of Picture Coding Symposium '93. 2.2 (1993)

E. Ono、S. Morishima 等人：“基于模型的旋转面阴影估计和再现方案”图片编码研讨会论文集 93 (1993)。

Shigeo Morishima,他: "A Facial Image Symthesis System for Human-Machine Interface" IEEE Robot and Human Communication(ROMAN'92). 363-368 (1992)

Shigeo Morishima 等人：“人机界面的面部图像合成系统”IEEE 机器人和人类通信(ROMAN92) (1992)。

小野 英太,森島 繁生,他: "照明環境を保存する分析合成符号化の一検討" 電子情報通信学会技術研究報告. HC92-62. 29-34 (1993)

Eita Ono、Shigeo Morishima 等人：“保护照明环境的分析和综合编码研究”IEICE 技术报告 29-34 (1993)。