音響情報からの感情情報抽出とそのヒューマンインタフェースへの応用

从声学信息中提取情感信息及其在人机界面中的应用

• 批准号: 05220221
• 负责人: 森島 繁生
• 金额: $ 1.34万
• 依托单位: Seikei University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1993
• 资助国家: 日本
• 起止时间: 1993 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-05220221/
• 关键词: 感性情報処理; 感情空間; FACS; ピッチ情報; 感情認識; 表情合成; ニューラルネットワーク; 音声分析

基本的な感情情報(喜び、悲しみ、怒り、嫌悪)と無感情状態を音声信号のみから認識するための、音響特徴パラメータの抽出を行った。演劇経験者の発声した感情音声を試行錯誤的に分析して、ピッチ統計、時間構造に着目した結果、顕著な差異が現われていることが分かった。特に喜びと怒りはパワーが大きく、ピッチが上昇する傾向にある。悲しみではピッチが一律に下降する。また嫌悪では語尾に行くにしたがってピッチが上昇する傾向が現われ、時間構造に特徴が見いだされた。このパラメータ変化情報に基づいて、無感情音声のピッチと時間構造を変換し特定の感情を付加することが可能となった。この聴取実験結果から感情が付加されているようすが確認された。一方、感情情報自体の定量化についても検討を行った。これは各感情を表現していると判断される表情パラメータの分析から、基本感情の相対的な空間的位置づけを決定する試みであると同時に、表情から感情認識を行ったり、指定された感情情報から表情への変換を実現することが目的である。具体的にはパラメータ記述された表情を恒等写像を実現するニューラルネットに入力して、このデータに含まれる内部構造を獲得する手法をとった。感情空間の次元数を3、5階層のネットワークを利用して検討を行った結果、従来からの心理学の分野で提案されている感情空間と強い相関があることが実証された。すなわち喜びと怒り、驚きと悲しみが対局的な位置づけとなり、怒りと悲しみの中間に嫌悪、悲しみと驚きの中間に恐れが位置づけられる結果となった。これによって、心理学分野へ大きなインパクトを与えた。

Basic emotional information (happiness, sadness, anger, hatred), emotionless state, acoustic signal recognition, acoustic characteristics, extraction, etc. Analysis, statistics, time structure, results, differences, etc. Special joy and anger All of them are in the same boat. The tendency to rise in time and structure The information base of this kind of information is not sensitive to emotion. The time structure of this kind of information is not sensitive to emotion. The result of this is that the feelings are added to the list. A party, emotional information from the quantitative analysis of the process To determine the spatial position of the basic emotion, to determine the expression of emotion, to specify the expression of emotion, to determine the expression of emotion. The detailed description of the image is as follows: The number of dimensions in emotional space is 3 and 5. The results of the study are based on the results of psychological research. The results of the study are based on the results of psychological research. In the middle of the room, there is no room for fear. The difference between psychology and psychology is that

项目成果

森島,繁生: "自然な表情アニメーションのための感情空間の構成" NICOGRAPH論文集. 9. 17-27 (1993)

Shigeo Morishima：“自然面部动画的情感空间配置”NICOGRAPH Proceedings。 9. 17-27 (1993)

森島,繁生: "Facal Anination Synthesis for Human-Madnine Corninunication System" Proreedings of HCI International′93. 1085-1090 (1993)

Shigeo Morishima：“人机通讯系统的面部肛门合成”Proreedings of HCI International93 (1993)。

上木信夫、森島繁生: "多層ニューラルネットによって構成された感情空間に基づく表情の分析・合成システムの構成" 電子情報通信学会論文誌. 77,(3月掲載予定). (1994)

Nobuo Kamiki、Shigeo Morishima：“基于多层神经网络构建的情感空间的面部表情分析/合成系统的配置”，电子、信息和通信工程师学会汇刊 77，（计划于 3 月出版）。 (1994)

森島,繁生: "表情インタフェースのための感情情報の定量表現とモデル化" 第9回フューマンインタフェースシンポジウム論文集. 357-360 (1993)

Morishima, Shigeo：“面部表情界面情感信息的定量表达和建模”第九届人机界面研讨会论文集 357-360 (1993)。

森島,繁生: "Facial Expression Synthesis Basedon Natural Voice for Virtual Face-to-Face Commueication with Machine" Proceedings of IEEE VRAIS′93. 486-491 (1993)

Morishima, Shigeo：“基于自然语音的面部表情合成，用于与机器进行虚拟面对面通信”IEEE VRAIS93 论文集 (1993)。