ポップアウト・ボイスの生成・知覚基盤の解明に基づく高性能拡声音技術の開発

基于阐明弹出声音的产生和感知基础的高性能扩音技术的开发

• 批准号: 20H00291
• 负责人: 天野 成昭
• 金额: $ 28.79万
• 依托单位: Aichi Shukutoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H00291/
• 关键词: 音声知覚・生成; 音声合成・変換; 拡声音; ポップアウト; 聞き取りやすさ; 音声知覚; 音声生成; 音声合成; 音声変換; 発声訓練法

①ポップアウトボイスの音響特徴側面: スピーカから流した音楽等をマイクロフォンで録音し，そのデータから室内空間の音響特性を推定する方法を開発した。この方法により耳の鼓膜に到達するポップアウトボイスに対し，室内空間の音響特性である反響等の影響を正確に知ることが可能となり，同時にポップアウトボイスに反響等の影響を加味した正確なシミュレーションも可能となった。また，音声が口から空間へ放射されるときの音響特性を測定する実験を行い，ポップアウトボイスが特徴的な音の伝わり方(指向性)を持つ可能性が高いことを示す結果を得た。②ポップアウトボイスの知覚側面: ポップアウトボイスの声質が迫力・金属性因子との関連が強いことを示す評定実験の結果を国際会議INTERSPEECH2022にて発表した。英語母語話者が日本語のポップアウトボイスを聴取したときの知覚特性を明らかにする目的で，ポップアウトボイスの検出率を測定する実験を実施した結果，非母語であることによる聞き取りやすさの低下は1.5～2.7dBであることと，ポップアウトボイスによる聞き取りやすさの上昇は2.8dBであることが分かった。特に後者の結果は，ポップアウトボイスが言語非依存の性質を持っていること，すなわち言語間の障壁を越えたユニバーサルデザインに応用可能であることを示唆する重要な結果であるといえる。③ポップアウトボイスの生成側面: 昨年度に引き続き，ポップアウトボイスを持つ話者と持たない話者，計11名の音声録音と電気声門図による声帯振動特性計測を実施した。さらに磁気共鳴機能画像法（fMRI）を用いて話者4名の口と喉の形状と動きのデータを収集した。これらのデータからポップアウトボイス発声時には通常発声時と異なる声帯振動特性が存在することを明らかにした。さらに口と喉の形状と動きも通常発生時とは異なることを示唆する結果を得た。

①Non-Touch audio features side:スピーカから流した音楽equipmentをマイクロフォンでrecordingし,そのデータからのAcoustic Characteristics of Indoor SpaceをEstimatedするmethodを开発した. It is correct to know how to measure the eardrum of the eardrum and how to measure it, and how to measure the sound characteristics of the indoor space such as the reverberation etc.ることがとなり, and にポップアウトボイスにreactions etc. The influence of をflavored したcorrect なシミュレーションもpossible となった.また, sound が口 から space へradiation されるときの sound characteristics をmeasurement する実験を行い, ポップアウThe トボイスが特徴な音の伝わりsquare (directivity) をholds the possibility and the high いことをshows the result をgets た. ②ポップアウトボイスの知覚 Side view:ポップアウトボイスの Sound quality がforce・Metallicity factor とのrelated がstrong いことを Show す Evaluation 実験の results をInternational Conference INTERSPEECH2022 にて発 table した. Native speaker of Englishするpurposeで,ポップアウトボイスの検Output rateをdeterminationする実験を実 Shiした results, non-native languageであることによる文きGET りやすさのlow は1.5～2.7dBであることと,ポップアウトボイスによる文きGETりやすさのriseは2.8dBであることが分かった. Special result of the latter, ポップアウトボイスがlanguage-independent nature of っていること, すなわちbetween words Barrier crossing is possible and the result is important. ③ポップアウトボイスの generate side: Yesterday's year was full of words, A total of 11 voices were recorded and the vibration characteristics of the electric glottal sound band were measured.さらにMagnetic Resonance Functional Imaging (fMRI) をいて Speaker 4 の口と Throat No Shape と Movement きのデータを Collect した.これらのデータからポップアウトボイス発声时にはusually発The sound is different and the vibration characteristics of the sound are different.さらに口と Throat のShape とmoving きもUsually when the disease is born, とはdifferent なることをshows the result するをgets た.

项目成果

機械学習ライブラリを利用した超音波画像の舌輪郭抽出の試み

尝试使用机器学习库从超声图像中提取舌头轮廓

• 发表时间: 2021
• 作者: Ahmed Bedawy;Naoto Yorino;Karar Mahmoud;Yoshifumi Zoka;Yutaka Sasaki;的場瞳・北村達也・孫静・林良子
• 通讯作者: 的場瞳・北村達也・孫静・林良子

ポップアウトボイスの個人内変化に伴う声帯振動特性と声道音響特性の変化

与个体内弹出声音变化相关的声带振动特性和声道声学特性的变化

• 发表时间: 2022
• 作者: Isa Haridz;Ardyono Priyadi;Margo Pujiantara;Sjamsjul Anam;Naoto Yorino;Mauridhi Hery Purnomo;北村達也・能田由紀子・榊原健一・河原英紀・天野成昭
• 通讯作者: 北村達也・能田由紀子・榊原健一・河原英紀・天野成昭

音声からの声道断面積関数推定におけるスペクトル平坦化手法による推定精度の比較

语音声道截面积函数估计中频谱平坦方法的估计精度比较

• 发表时间: 2021
• 作者: 梅田岳昌;張咏杰;宮本吾郎;古原忠;諸岡聡;森川信之・藤原広行・岩城麻子・前田宜浩;ジェームメルバート，高橋優樹，張麗華，渡辺精一;奥田康弘・坂野秀樹・旭健作
• 通讯作者: 奥田康弘・坂野秀樹・旭健作

発話訓練経験による文章発話時の顔ランドマーク変位の違い

句子发音过程中面部标志位移的差异取决于言语训练经验

• 发表时间: 2023
• 作者: 本多陽敬;小澤雄太;野々村拓;浅井圭介;樫山大樹，山口大貴，Benjamin Brito，銭城，秋山充良，石垣直光，高橋宏和，本田利器;橋本博公;安田奈央・北村達也
• 通讯作者: 安田奈央・北村達也

顔の動きをフィードバックする発話訓練支援システムの検討

研究提供面部动作反馈的言语训练支持系统

• 发表时间: 2023
• 作者: Samuel Kihembo Mumbere;Yutaka Sasaki;Naoto Yorino;Yoshifumi Zoka;Ahmed Bedawy;Yoshiki Tanioka;設楽郁巳・関和広・北村達也
• 通讯作者: 設楽郁巳・関和広・北村達也