対話型AIエージェントの社会的存在感を強化する音楽的感情表現システムの開発

开发音乐情感表达系统，增强交互式人工智能代理的社交存在感

• 批准号: 21J15349
• 负责人: 高橋 ともみ
• 金额: $ 0.96万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J15349/
• 关键词: 社会的存在感; 音声対話エージェント; 感情表現; Background music; Sound effect

エージェントは社会的に接されにくいことが知られており，エージェントに話しかける際に抵抗感を覚える等，未だ「モノ」としての側面が強い（社会的存在感が低い）ことが伺える．エージェントが人と対等で親密な存在となることができれば，ユーザが自然に積極的に話しかけるようになり，ユーザ固有の情報を収集しやすくより個人に適したサービスを提供出来たり，孤独感の効果的な低減等感情面での支援が容易になったりといった利点が考えられる．社会的存在感の向上を目指すうえで，本研究では音声対話エージェントの感情表現の乏しさに着目した．既存の多くの音声対話エージェントの発話は人の音声と比べて平坦な合成音声が用いられており，エージェントの感情が伝わりにくく音声アシスタントへの話しかけに抵抗感が生じる一因となっていることが懸念される．本研究では，音声対話エージェントの合成音声に音楽を付与して感情を表現する音楽的感情表現を提案した．音楽的感情表現としてBackground music（BGM）,Sound effectを合成音声に加えて印象評価を行った結果，平坦な合成音声であっても感情を意図通りに伝達することができた．さらに，感情的な合成音声に加えた場合でも，その感情伝達の効果を高めることができた．また，ポジティブな感情表現においてはエージェントの人間らしさや話しかけやすさを向上させることができた．音楽的感情表現としてのBGMを自動生成するため，LSTMベースの音楽生成モデルを使用し感情に対応したBGMを生成するシステムを試作した．以上の成果をまとめて国際会議HAI2021で発表した．さらに，この音楽的感情表現を歴史的建築物の新たな保存・再生方法へと発展させた．これは，建築が感情を持ち表現することによって利用者が建築を生物のように感じ建築に対して愛着を持つことで保存・再生に積極的になることを期待したものである．

The social sense of existence is low. The social sense of existence is low. Intimacy, intimacy, natural, positive, natural, natural, The social sense of presence is upward, and this study focuses on the lack of emotional performance in voice communication. There are many kinds of sounds in existence. The sound of the voice. This study proposes a proposal for the emotional expression of voice in the synthesis of voice and speech. The emotional expression of sound and Background music (BGM),Sound effect, synthetic sound and impression evaluation results, flat, synthetic sound and emotion. In addition, the emotional synthesis sound is added to the occasion, and the emotional transmission reaches the fruit. The feeling is expressed in the middle of the conversation. The sound of emotion is generated automatically by LSTM. The results of the above international conference HAI2021 were presented. Today, the sound of emotional expression, the history of the building and new preservation, regeneration methods to develop. This is the first time that we've seen this. We've seen this before.

项目成果

Melodic Emotional Expression Increases Ease of Talking to Spoken Dialog Agents

旋律情感表达提高了与语音对话代理交谈的轻松度

• 发表时间: 2021
• 作者: Tomomi Takahashi;Kazuaki Tanaka;Kenichiro Kobayashi;and Natsuki Oka
• 通讯作者: and Natsuki Oka