あらゆる音を柔軟に生成可能とする環境音合成の研究

环境声音合成研究，灵活生成各种声音

• 批准号: 22KJ3027
• 负责人: 岡本 悠希
• 金额: $ 1.09万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ3027/
• 关键词: 環境音合成; 音響情報処理

本研究では，環境音の特徴を人間がどのように表現するかに着目し，環境音を自然言語や音声といった様々な情報により表現することで，あらゆる音を柔軟に生成可能とする環境音合成の実現に取り組んでいる。本年度は，環境音合成における主観評価手法に関して検討を進めた。従来の環境音合成の研究では，評価方法が確立されておらず，どのように生成した音を評価するべきかについて十分な議論が行われていなかった。この課題を解決するべく，環境音合成のための主観評価手法を提案した。また，従来研究では，客観評価のみが行われる場合も多く，主観と客観どちらの評価を実施するべきかについて言及されていなかった。そこで，提案した主観評価手法による結果と，従来取り組まれてきた客観評価手法による結果の比較を行った。結果として，主観評価と客観評価では異なる傾向を示すことが明らかになった。よって，現状多く使用されている環境音合成のための客観評価では，人間の知覚と一致したような評価を実施することは困難であるということを確認した。また，環境音合成のためのデータセット構築にも取り組み，環境音合成の研究を加速させるためのデータ整備を行った。データセットの構築にあたっては，クラウドソーシングサービスを利用して複数のラベル情報を環境音に付与した。また，テキスト情報では表現できない環境音の特徴を表現するべく，声によって環境音のリズムや音の高さを模倣したデータの収録も行った。

In this study, the characteristics of environmental sound are expressed in human beings, and environmental sound is expressed in natural speech and sound information. This year, environmental sound synthesis is the main evaluation method. In recent research on environmental sound synthesis, evaluation methods have been established, and the sounds generated in different places have been evaluated. This problem is solved by the main evaluation method of environmental sound synthesis. In addition, there are many occasions when the guest comments are carried out, and the host comments on the guest comments are carried out. The results of the evaluation method are compared with the results of the evaluation method. As a result, there is a tendency for the host and guest to comment differently. The current situation is that the environment is composed of two parts, one part is composed of two parts, the other part is composed of three parts, and the other part is composed of three parts. In addition, various components have been taken into account in the construction of digital equipment for environmental sound synthesis, and research on environmental sound synthesis has been accelerated and digital equipment has been carried out. The structure of the system is based on the information of the environment. The characteristics of environmental sound are expressed in the following ways:

项目成果

How Should We Evaluate Synthesized Environmental Sounds

• DOI: 10.23919/apsipaasc55919.2022.9980187
• 发表时间: 2022-08
• 期刊: 2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
• 作者: Yuki Okamoto;Keisuke Imoto;Shinnosuke Takamichi;Takahiro Fukumori;Y. Yamashita

環境音合成の入力情報に応じた主観評価手法の検討

环境声合成根据输入信息的主观评价方法研究

• 发表时间: 2022
• 作者: 山形真一;ら;土屋千佳子;林彰子;WANG Qionghai;WANG Qionghai;篠原史生;岡本悠希，井本桂右，高道慎之介，福森隆寛，山下洋一
• 通讯作者: 岡本悠希，井本桂右，高道慎之介，福森隆寛，山下洋一