VOICE 2.0: towards augmentation of enriched speech communication

VOICE 2.0：增强丰富的语音通信

• 批准号: 20KK0233
• 负责人: 鵜木 祐史
• 金额: $ 11.98万
• 依托单位: Japan Advanced Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-10-27 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20KK0233/
• 关键词: 音声コミュニケーション; エンリッチメント; 非言語情報; 聴覚エンリッチメント; voice 2.0; 音声了解度; 非言語情報知覚

本研究では，表現豊かな音声コミュニケーションを実現するために，音声の数理工学的な情報表現において，音声のエンリッチな情報を言語・非言語・パラ言語情報にそれぞれ分離し，それらを個別に制御することで，次の５点に関する音声エンリッチメント（VOICE 2.0）を実現する．課題① 言語情報におけるエンリッチメント，課題② 非言語情報（話者性）のエンリッチメント，課題③ 非言語情報（感情）のエンリッチメント，課題④ 非言語情報（声の質感）のエンリッチメント，課題⑤ パラ言語情報（緊迫感など）のエンリッチメント．本研究の期待するところは，音声の明瞭さや，感情，個人性，発話スタイルの変化といった声質をヒトのように高低・強弱の程度を制御して，音声コミュニケーションの付加価値を高めることにある．2022年度は，前年度課題で検討した課題②について継続して実施した．この課題では，音声の個人性と変調知覚の関係ならびに個人性と音声生成の関係を調査し，話者変換といったエンリッチメントを検討した．ここでは，話者の個人性情報を，McAdams係数を利用して制御することで話者秘匿化やプライバシー保護ができるか検討した．その結果，高い精度で秘匿可能であることを示した．次に課題③に取り組んだ．ここでは，音声の感情と変調知覚の関係を調査した．これまでに変調スペクトログラムの高次統計量を利用して感情知覚の関係を調べてきたが，すべての感情制御に共通する特徴（変調スペクトル尖度と変調スペクトル傾斜）があることを明らかにした．また，これらの特徴が雑音・残響に頑健であり，機械による感情音声認識にも有効であることも示した．最後に課題④に取り組んだ．ここでは，VoiceMOSチャレンジに参画し，音声の変調スペクトログラムに現れる特徴が音声の質評価に重要であることを明らかにした．

In this study, the performance of VOICE and digital engineering information performance, voice and digital information, speech, non-speech, speech information, separation, individual control, the next five points related to voice and digital engineering information performance. Subject 1: Verbal information; Subject 2: Non-verbal information (speaker); Subject 3: Non-verbal information (emotion); Subject 4: Non-verbal information (sound and texture); Subject 5: Verbal information (stress). This study is expected to be conducted in 2022 and 2023, and the previous year's topic will be discussed in 2022. The topic is to investigate the relationship between the individuality of sound and the generation of sound, and to investigate the relationship between the individuality and the generation of sound. The McAdams coefficient is used to control the privacy of the speaker. The result is high precision and hidden. Next topic ③ Select group. To investigate the relationship between sound and emotion. The high-order statistics of the emotional control system are used to analyze the relationship between emotional control system and emotional control system. The sound of the voice is strong, and the sound of the voice is strong. Finally, the topic ④ is selected. VoiceMOS is the most important feature of sound quality evaluation.

项目成果

音声に含まれる緊迫感の変調周波数帯域の検討

语音中包含的紧迫感的调制频带的检查

• 发表时间: 2023
• 作者: Masayuki MATSUOKA;Hiroki YOSHIOKA;Kenta OBATA;Kazuhito ICHII;木谷俊介，劉小テイ，郭太陽，磯山拓都，李軍鋒，赤木正人，鵜木祐史
• 通讯作者: 木谷俊介，劉小テイ，郭太陽，磯山拓都，李軍鋒，赤木正人，鵜木祐史

Anomalous sound detection using objective metrics related to timbral attributes

使用与音色属性相关的客观指标进行异常声音检测

• 发表时间: 2022
• 作者: Yasuji Ota;Seigo Kura;Masashi Unoki
• 通讯作者: Masashi Unoki

聴覚フィルタバンクを用いたラフネスモデルの構築

使用听觉滤波器组构建粗糙度模型

• 发表时间: 2022
• 作者: 磯山 拓都;木谷 俊介;鵜木 祐史
• 通讯作者: 鵜木 祐史

緊迫感知覚に寄与する変調周波数帯域の検討

检查有助于紧迫感的调制频段

• 发表时间: 2022
• 作者: 木谷 俊介;劉 小テイ;郭 太陽;磯山 拓都;李 軍鋒;赤木 正人;鵜木 祐史
• 通讯作者: 鵜木 祐史

Spectro-Temporal Modulationによる音声感情認識の調査

使用频谱时间调制的语音情感识别研究

• 发表时间: 2022
• 作者: Yuning Liu;Di Zhou;Masashi Unoki;Jianwu Dang;Aijun Li;村上正悟，森田翔太
• 通讯作者: 村上正悟，森田翔太