Statistical Parametric Instrumental Sound Synthesis with Controllable Context of Performance

具有可控性能背景的统计参数乐器声音合成

• 批准号: 22KJ2855
• 负责人: 小口 純矢
• 金额: $ 1.6万
• 依托单位: Meiji University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ2855/
• 关键词: 楽器音合成; 動的時間伸縮; 音響特徴量; 音響情報処理; 音楽情報処理; 音声音響データベース

今年度は，まず撥弦楽器における奏法と演奏信号の時間的な対応付けを高精度に推定する手法の開発に取り組んだ．演奏をパラメトリックに制御できる楽器音合成システムへの入力には，音高・音量・音価だけでなく奏法の情報を何らかのベクトル表現へと変換し，演奏音響信号と対応付ける必要がある．そこで，音声における音素表現と撥弦楽器音（特にエレキベース）における奏法表現の類似に着目した．アタックとサスティン区間をそれぞれ子音と母音のように捉えることで，音声信号に対応する音素のように演奏信号に対して奏法ラベルを設計した．また奏法ラベルとその演奏楽器音に対する時間的な対応（アライメント）を得る手法について，これまで音声合成において用いられてきた種々のアルゴリズムを適用した．その過程で，新たにエレキベースの音響信号とその楽譜情報を含む楽器音データベースを構築した．このデータベースを利用してアライメントアルゴリズムの比較実験を行った結果，音色変換と動的時間伸縮を組み合わせた手法が最も高精度であった．この内容は日本音響学会2022年秋季研究発表会において口頭発表を行った．さらに，発話スタイルの異なる音声データに対してその違いがどのような音響的性質に基づくのかを調査するための音響解析を行った．基本周波数や非周期性指標といったいくつかの音響特徴量において聴感上の印象に対応する差異が認められる結果となった．これらは楽器音の奏法や演奏表情の変化に対しても応用が期待される．この内容は日本音響学会2023年春季研究発表会において口頭発表を行った．

Our は, ま ず pince joy apparatus に お け る embouchure と playing time signal の な 応 seaborne pay け を high-precision に presumption す る gimmick の open 発 に group take り ん だ. Play を パ ラ メ ト リ ッ ク に suppression で き る joy implement sound synthesis シ ス テ ム へ の に into force は, pitch, volume, tone 価 だ け で な く embouchure の what intelligence を ら か の ベ ク ト ル performance へ と variations in し, play the sound signal と 応 seaborne pay け る necessary が あ る. そ こ で, sounds に お け る phonemes performance と pince joy is sound (especially に エ レ キ ベ ー ス) に お け る embouchure の に similar performance with mesh し た. ア タ ッ ク と サ ス テ ィ ン interval を そ れ ぞ れ consonants と vowels の よ う に catch え る こ と で, voice signal に 応 seaborne す る phonemes の よ う に play signal に し seaborne て embouchure ラ ベ ル を design し た. ま た embouchure ラ ベ ル と そ の play joy implement sound に す seaborne る time な 応 seaborne (ア ラ イ メ ン ト) を have る gimmick に つ い て, こ れ ま で voice synthesis に お い て in い ら れ て き た kind 々 の ア ル ゴ リ ズ ム を applicable し た. で そ の process, new た に エ レ キ ベ ー ス の sound signal と そ の joy spectrum intelligence を containing む joy implement sound デ ー タ ベ ー ス を build し た. こ の デ ー タ ベ ー ス を using し て ア ラ イ メ ン ト ア ル ゴ リ ズ ム の is be 験 を line っ た results, tone variations in と dynamic time scale を group み close わ せ た gimmick が も most high-precision で あ っ た. The content of the にお にお て oral presentation at the 2022 autumn research presentation meeting of the Japan Acoustical Society is を. さ ら に, 発 ス タ イ ル の different な る sounds デ ー タ に し seaborne て そ の violations い が ど の よ う な sound properties of に base づ く の か を survey す る た め の audio line analytical を っ た. Basic cycle for や aperiodic index と い っ た い く つ か の acoustics, 徴 quantity に お い て 聴 feeling の impression on に 応 seaborne す る differences が recognize め ら れ る results と な っ た. Youdaoplaceholder5 れら, <s:1>, instrument sound, tempo, や, expression, <s:1>, variation, に, が, expectation, される. The content of the にお にお て oral presentation at the 2023 spring research presentation meeting of the Japan Acoustical Society is を.

项目成果

エレキベースを対象とした楽器音のアーティキュレーションアライメント手法の検討

电贝司乐器声音的发音对准方法研究

• 发表时间: 2022
• 作者: 西原達平;Lee Hyunju;大下祥雄;小椋厚志;小口 純矢，森勢 将雅
• 通讯作者: 小口 純矢，森勢 将雅