対話型AIエージェントの社会的存在感を強化する音楽的感情表現システムの開発

开发音乐情感表达系统，增强交互式人工智能代理的社交存在感

• 批准号: 21J15349
• 负责人: 高橋 ともみ
• 金额: $ 0.96万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J15349/
• 关键词: 社会的存在感; 音声対話エージェント; 感情表現; Background music; Sound effect

エージェントは社会的に接されにくいことが知られており，エージェントに話しかける際に抵抗感を覚える等，未だ「モノ」としての側面が強い（社会的存在感が低い）ことが伺える．エージェントが人と対等で親密な存在となることができれば，ユーザが自然に積極的に話しかけるようになり，ユーザ固有の情報を収集しやすくより個人に適したサービスを提供出来たり，孤独感の効果的な低減等感情面での支援が容易になったりといった利点が考えられる．社会的存在感の向上を目指すうえで，本研究では音声対話エージェントの感情表現の乏しさに着目した．既存の多くの音声対話エージェントの発話は人の音声と比べて平坦な合成音声が用いられており，エージェントの感情が伝わりにくく音声アシスタントへの話しかけに抵抗感が生じる一因となっていることが懸念される．本研究では，音声対話エージェントの合成音声に音楽を付与して感情を表現する音楽的感情表現を提案した．音楽的感情表現としてBackground music（BGM）,Sound effectを合成音声に加えて印象評価を行った結果，平坦な合成音声であっても感情を意図通りに伝達することができた．さらに，感情的な合成音声に加えた場合でも，その感情伝達の効果を高めることができた．また，ポジティブな感情表現においてはエージェントの人間らしさや話しかけやすさを向上させることができた．音楽的感情表現としてのBGMを自動生成するため，LSTMベースの音楽生成モデルを使用し感情に対応したBGMを生成するシステムを試作した．以上の成果をまとめて国際会議HAI2021で発表した．さらに，この音楽的感情表現を歴史的建築物の新たな保存・再生方法へと発展させた．これは，建築が感情を持ち表現することによって利用者が建築を生物のように感じ建築に対して愛着を持つことで保存・再生に積極的になることを期待したものである．

エ ー ジ ェ ン ト は social に receive さ れ に く い こ と が know ら れ て お り, エ ー ジ ェ ン ト に words し か け る interstate に resist feeling を 覚 え る etc., not だ "モ ノ" と し て の strong side が い (social presence が low い) こ と が bar え る. エ ー ジ ェ ン ト が people と で intimate な exist such as seaborne と な る こ と が で き れ ば, ユ ー ザ が natural に positive に し か け る よ う に な り, ユ ー ザ inherent の intelligence を 収 set し や す く よ り personal に optimum し た サ ー ビ ス を offered た り, The emotional aspects of loneliness, such as the な reduction of the effect of loneliness, で <s:1> support が is easy to になった になった と った った った and が test えられる. The sense of social existence <e:1> is upward を eye pointing すうえで, this study is で ト voice conversation エ を ジェ ジェ ト ト <s:1> emotional expression <s:1> fatigue さに eye looking た. More than existing の く の sounds of words エ seaborne ー ジ ェ ン ト の 発 words は people の sounds と than べ て flat な synthetic sounds が with い ら れ て お り, エ ー ジ ェ ン ト の feelings が 伝 わ り に く く sounds ア シ ス タ ン ト へ の words し か け に resistance are born が じ る due to と な っ て い る こ と が suspense さ れ る. This study で は, sounds of words エ seaborne ー ジ ェ ン ト の synthesis に sound joy を give し て feelings を performance す る sound joy feelings performance を proposal し た. Sound the feelings of joy performance と し て Background music (BGM), Sound effect を synthetic sounds に plus え て impression evaluation 価 を line っ た results, flat な synthetic sounds で あ っ て も emotional meaning を 図 tong り に 伝 da す る こ と が で き た. さ ら に, the feelings of な synthetic sounds に plus え た occasions で も, そ の 伝 feelings of の unseen high を め る こ と が で き た. ま た, ポ ジ テ ィ ブ な affection に お い て は エ ー ジ ェ ン ト の world ら し さ や words し か け や す さ を upward さ せ る こ と が で き た. Sound the feelings of joy performance と し て の BGM を automatically generated す る た め, LSTM ベ ー ス の sound joy generated モ デ ル を use し feelings に 応 seaborne し た BGM を generated す る シ ス テ ム を attempt し た. The above <s:1> achievements were presented at the をまとめて international conference HAI2021で た. Youdaoplaceholder0, <s:1> emotional expression of music を historical buildings <s:1> new たな preservation and regeneration methods へと exhibition させた. こ れ は, building が feelings を ち performance す る こ と に よ っ て ik が building を biological の よ う に feeling じ building に し seaborne て love を hold つ こ と で preservation, renewable に positive に な る こ と を expect し た も の で あ る.

项目成果

Melodic Emotional Expression Increases Ease of Talking to Spoken Dialog Agents

旋律情感表达提高了与语音对话代理交谈的轻松度

• 发表时间: 2021
• 作者: Tomomi Takahashi;Kazuaki Tanaka;Kenichiro Kobayashi;and Natsuki Oka
• 通讯作者: and Natsuki Oka