Statistical Parametric Instrumental Sound Synthesis with Controllable Context of Performance

今年度は，まず撥弦楽器における奏法と演奏信号の時間的な対応付けを高精度に推定する手法の開発に取り組んだ．演奏をパラメトリックに制御できる楽器音合成システムへの入力には，音高・音量・音価だけでなく奏法の情報を何らかのベクトル表現へと変換し，演奏音響信号と対応付ける必要がある．そこで，音声における音素表現と撥弦楽器音（特にエレキベース）における奏法表現の類似に着目した．アタックとサスティン区間をそれぞれ子音と母音のように捉えることで，音声信号に対応する音素のように演奏信号に対して奏法ラベルを設計した．また奏法ラベルとその演奏楽器音に対する時間的な対応（アライメント）を得る手法について，これまで音声合成において用いられてきた種々のアルゴリズムを適用した．その過程で，新たにエレキベースの音響信号とその楽譜情報を含む楽器音データベースを構築した．このデータベースを利用してアライメントアルゴリズムの比較実験を行った結果，音色変換と動的時間伸縮を組み合わせた手法が最も高精度であった．この内容は日本音響学会2022年秋季研究発表会において口頭発表を行った．さらに，発話スタイルの異なる音声データに対してその違いがどのような音響的性質に基づくのかを調査するための音響解析を行った．基本周波数や非周期性指標といったいくつかの音響特徴量において聴感上の印象に対応する差異が認められる結果となった．これらは楽器音の奏法や演奏表情の変化に対しても応用が期待される．この内容は日本音響学会2023年春季研究発表会において口頭発表を行った．

今年度は，まず撥弦楽器における奏法と演奏信号の時間的な対応付けを高精度に推定する手法の開発に取り組んだ．演奏をパラメトリックに制御できる楽器音合成システムへの入力には，音高・音量・音価だけでなく奏法の情報を何らかのベクトル表現へと変換し，演奏音響信号と対応付ける必要がある．そこで，音声における音素表現と撥弦楽器音（特にエレキベース）における奏法表現の類似に着目した．アタックとサスティン区間をそれぞれ子音と母音のように捉えることで，音声信号に対応する音素のように演奏信号に対して奏法ラベルを設計した．また奏法ラベルとその演奏楽器音に対する時間的な対応（アライメント）を得る手法について，これまで音声合成において用いられてきた種々のアルゴリズムを適用した．その過程で，新たにエレキベースの音響信号とその楽譜情報を含む楽器音データベースを構築した．このデータベースを利用してアライメントアルゴリズムの比較実験を行った結果，音色変換と動的時間伸縮を組み合わせた手法が最も高精度であった．この内容は日本音響学会2022年秋季研究発表会において口頭発表を行った．さらに，発話スタイルの異なる音声データに対してその違いがどのような音響的性質に基づくのかを調査するための音響解析を行った．基本周波数や非周期性指標といったいくつかの音響特徴量において聴感上の印象に対応する差異が認められる結果となった．これらは楽器音の奏法や演奏表情の変化に対しても応用が期待される．この内容は日本音響学会2023年春季研究発表会において口頭発表を行った．