対話型AIエージェントの社会的存在感を強化する音楽的感情表現システムの開発

开发音乐情感表达系统，增强交互式人工智能代理的社交存在感

• 批准号: 21J15349
• 负责人: 高橋 ともみ
• 金额: $ 0.96万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J15349/
• 关键词: 社会的存在感; 音声対話エージェント; 感情表現; Background music; Sound effect

エージェントは社会的に接されにくいことが知られており，エージェントに話しかける際に抵抗感を覚える等，未だ「モノ」としての側面が強い（社会的存在感が低い）ことが伺える．エージェントが人と対等で親密な存在となることができれば，ユーザが自然に積極的に話しかけるようになり，ユーザ固有の情報を収集しやすくより個人に適したサービスを提供出来たり，孤独感の効果的な低減等感情面での支援が容易になったりといった利点が考えられる．社会的存在感の向上を目指すうえで，本研究では音声対話エージェントの感情表現の乏しさに着目した．既存の多くの音声対話エージェントの発話は人の音声と比べて平坦な合成音声が用いられており，エージェントの感情が伝わりにくく音声アシスタントへの話しかけに抵抗感が生じる一因となっていることが懸念される．本研究では，音声対話エージェントの合成音声に音楽を付与して感情を表現する音楽的感情表現を提案した．音楽的感情表現としてBackground music（BGM）,Sound effectを合成音声に加えて印象評価を行った結果，平坦な合成音声であっても感情を意図通りに伝達することができた．さらに，感情的な合成音声に加えた場合でも，その感情伝達の効果を高めることができた．また，ポジティブな感情表現においてはエージェントの人間らしさや話しかけやすさを向上させることができた．音楽的感情表現としてのBGMを自動生成するため，LSTMベースの音楽生成モデルを使用し感情に対応したBGMを生成するシステムを試作した．以上の成果をまとめて国際会議HAI2021で発表した．さらに，この音楽的感情表現を歴史的建築物の新たな保存・再生方法へと発展させた．これは，建築が感情を持ち表現することによって利用者が建築を生物のように感じ建築に対して愛着を持つことで保存・再生に積極的になることを期待したものである．

众所周知，代理商很难在社交上与之互动，并且在与代理商交谈时，他们仍然会感到抵抗感，表明他们仍然具有强大的“事物”方面（社会存在较低）。如果代理可以成为一个平等和亲密的人，则用户自然会更加主动地与他们交谈，从而更容易收集特定于用户的信息并提供更适合个人的服务，并且有可能促进情感支持，例如有效降低孤独感。为了改善社会存在，这项研究集中于语音对话代理缺乏情感表达。人们担心的是，许多现有的语音对话代理使用比人的声音使用平坦的综合语音，因此很难传达代理商的情绪，这是导致对语音助手说话的阻力的因素。在这项研究中，我们提出了一种音乐情感表达方式，该表达表达了情感，通过在语音对话代理的综合演讲中添加音乐来表达情感。由于印象评估，我们添加了背景音乐（BGM）和声音效果来表达音乐情感，甚至平坦的合成语音也能够按照预期传达情感。此外，即使添加到情感综合语音中，情绪传播的效果也会增加。此外，通过改善人类和与代理商说话的易感性，可以改善积极的情感表达。为了自动生成BGM作为情感的音乐表达，我们创建了一个原型系统，该系统使用基于LSTM的音乐生成模型来生成与情绪相对应的BGM。上述结果总结了并在国际会议HAI 2021上提出。此外，这种情感的音乐表达已发展为一种保存和再生历史建筑的新方法。希望通过表达建筑的情感，用户会感觉到建筑就像生物一样，并通过更加意识到它来维护和振兴它。

项目成果

Melodic Emotional Expression Increases Ease of Talking to Spoken Dialog Agents

旋律情感表达提高了与语音对话代理交谈的轻松度

• 发表时间: 2021
• 作者: Tomomi Takahashi;Kazuaki Tanaka;Kenichiro Kobayashi;and Natsuki Oka
• 通讯作者: and Natsuki Oka