ビスポーク音声デザインの骨格形成と体系化

定制音频设计的骨架形成和系统化

• 批准号: 21H04900
• 负责人: 森勢 将雅
• 金额: $ 27.37万
• 依托单位: Meiji University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-05 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04900/
• 关键词: 音声・歌声情報処理; 音声デザイン; 声質変換; 音声知覚; 音声情報処理; 音声合成

2022年度は，2021年度に構築した音声データベースを用いて発話スタイルの音響特徴解析を行う研究や，音声デザインインタフェース開発を目指したGUIの試作，および様々な特徴を有する音声合成技術の研究等多面的な活動に取り組んだ．音声データベース用いたテキスト音声合成を実装することで，Deep learningベースの方法を用いた場合でも，データベースの量・質ともに問題が無いことを確認した．その後，音声デザインを重視した技術の実現を目指し，従来法の改良に取り組んだ．加えて，声優が意図的に変化させた発話スタイルが，音声の基本周波数やフォルマント周波数，および話速に影響を与えていることを確認した．コーパスの読みやすさを評価するため，2名の声優に4,600文のコーパスを朗読させ，全文のリテイク回数を記録し比較することで朗読が困難な文が無いか評価した．評価の結果，共通する文でリテイク数が増加する傾向は認められず，一文を構成するモーラ数とリテイク数が比例する傾向を確認した．音声分析や合成に関する研究では，避難呼びかけの音声の分析や合成，2話者の中間属性を有する音声の合成技術，およびささやき声の生成法などの実現を目指した研究を推進した．加えて，声質変換技術にも取り組み，Deep neural networks (DNN)による声質変換技術について論文を発表した．音声知覚についても，音声に対して知覚するポジティブ感情，および音声のみならず感情も含めた感情知覚に関する研究を推進した．音声デザインGUIについては，研究代表者の代表的な成果である音声分析合成基盤WORLDをGUIとして実装し，音声デザインインタフェース開発に向けた問題点の洗い出しに取り組んだ．現状では高さ（基本周波数）など物理量で近似できるパラメータの制御に絞り，柔軟に操作できることを優先してプロトタイプを実装した．

In fiscal 2022 and fiscal 2021, we will organize multi-faceted activities such as research on acoustic feature analysis, development of acoustic features, GUI trial, and research on acoustic synthesis technology. The sound quality of sound synthesis is determined by the method of Deep learning. After that, we pay attention to the realization of sound and sound technology, and improve the selection of sound and sound technology. Add, voice actor The number of entries in the list is 4,600. The number of entries in the list is 4,600. The result of the evaluation is that the tendency of increasing the number of articles is confirmed. The research on sound analysis and synthesis is aimed at advancing the research on sound analysis and synthesis, and the research on sound synthesis technology and sound generation method. Deep neural networks (DNN) is a new technology for sound quality conversion. The sound of the sound Sound and Sound Analysis and Synthesis Base WORLD GUI is installed, sound and sound analysis and synthesis base WORLD GUI is installed, sound and sound analysis and synthesis base WORLD GUI is installed, sound and sound analysis base WORLD GUI is installed, sound and sound analysis and synthesis base WORLD GUI is installed, sound and sound and sound analysis base WORLD GUI is installed, sound and sound and sound analysis base WORLD GUI is installed, sound and sound analysis base WORLD GUI is installed, sound and sound and sound analysis base WORLD GUI is installed. The status quo is high (basic cycle number), the physical quantity is approximate, the control is flexible, the operation is preferential, and the installation is complete.

项目成果

Implementation of Interactive Tools for Investigating Fundamental Frequency Response of Voiced Sounds to Auditory Stimulation,

实施用于研究语音对听觉刺激的基本频率响应的交互式工具，

• 发表时间: 2021
• 期刊: 2021 APSIPA ASC Proc.
• 作者: H. Kawahara;T. Matsui;K. Yatabe;K.-I. Sakakibara;M. Tsuzaki;M. Morise;T. Irino
• 通讯作者: T. Irino

The interaction of emotional information from the voice and touch

来自声音和触摸的情感信息的交互

• DOI: 10.1250/ast.43.291
• 发表时间: 2022
• 期刊: Acoustical Science and Technology
• 影响因子: 0.7
• 作者: Oya Rika;Tanaka Akihiro
• 通讯作者: Tanaka Akihiro

自己教師あり学習と分類器チェーンを用いた非言語的発声に対する感情識別

使用自我监督学习和分类器链进行非语言话语的情感识别

• 发表时间: 2022
• 作者: Chen Sisheng;Chang Ching-Chun;Echizen Isao;鈴木康章，長谷川恭子，李亮，Thufail I. Fadjal，Riyanto Sugeng，Brahmantara，山口欧志，田中覚;辛徳泰，高道慎之介，猿渡洋
• 通讯作者: 辛徳泰，高道慎之介，猿渡洋

A practical method for generating whisper voices: Improvements in phantom silhouette method and application to multiple languages

一种实用的耳语生成方法：幻影轮廓法的改进及其在多种语言中的应用

• 发表时间: 2022
• 作者: Huy H. Nguyen;Trung-Nghia Le;Junichi Yamagishi;and Isao Echizen;T. Uchida and M. Morise
• 通讯作者: T. Uchida and M. Morise

声帯音源の群遅延特性に基づく特徴量を用いた励振源による有声音波形生成法の提案と評価

使用基于声带声源群延迟特性的激励源的浊音波形生成方法的提出和评估

• 发表时间: 2021
• 作者: Hayashi;M.J.;Amano;K.;小口純矢，森勢将雅
• 通讯作者: 小口純矢，森勢将雅