深層ベイズ学習に基づく歌声の認識と生成の統一理論

本研究では，音楽音響信号から歌声が担う主旋律の楽譜を推定する歌声採譜技術を扱う．主旋律は多くの楽曲の印象に密接に関連しているため，歌声採譜は認識・生成の双方向歌声解析において重要な技術である．歌声の音高軌跡（F0軌跡）はビブラートやオーバシュート等の歌唱表現よって，楽譜に記述された音符の音高や発音時刻から大きく逸脱しているため，単純な方法では音楽的に不自然な音符列が推定されてしまう．また，従来法は事前推定したF0軌跡を時間・周波数方向に離散化して楽譜を推定しているが，事前推定による誤差伝播の問題や音符のオンセット情報が欠落したF0軌跡からは同音高の連続音符の境界が判定不能という問題があるため，音楽音響信号を直接扱える手法の構築が必要であった．そこで本研究では，深層ニューラルネットワークに基づく音響モデルと従来の統計モデルに基づく言語モデルを統合した音楽音響信号の生成モデルを開発した．提案モデルにおいて，言語モデルはセミマルコフモデル（semi-Markov model; SMM）で構成され，調に依存しながら音符系列が生成される過程を表現する．また，音響モデルは畳み込みリカレントニューラルネットワーク（convolutional recurrent neural network; CRNN）で構成され，音符に基づいて観測音楽音響信号が生成される過程を表現する．提案モデルは，言語モデルに基づく音符に関する文法的な知識とCRNN音響モデルの表現力の両方を活用しながら，ビタビアルゴリズムを用いて音楽信号から直接音符を推定する．実際の音楽音響信号と合成の歌声を用いた評価実験では，従来の歌声F0軌跡に対する歌声採譜手法よりも高い性能を達成した．また，音響モデルのみ用いて推定された楽譜よりも高い性能を達成したことから，言語モデルと音響モデルを統合することの有効性も確認した．

本研究では，音楽音響信号から歌声が担う主旋律の楽譜を推定する歌声採譜技術を扱う．主旋律は多くの楽曲の印象に密接に関連しているため，歌声採譜は認識・生成の双方向歌声解析において重要な技術である．歌声の音高軌跡（F0軌跡）はビブラートやオーバシュート等の歌唱表現よって，楽譜に記述された音符の音高や発音時刻から大きく逸脱しているため，単純な方法では音楽的に不自然な音符列が推定されてしまう．また，従来法は事前推定したF0軌跡を時間・周波数方向に離散化して楽譜を推定しているが，事前推定による誤差伝播の問題や音符のオンセット情報が欠落したF0軌跡からは同音高の連続音符の境界が判定不能という問題があるため，音楽音響信号を直接扱える手法の構築が必要であった．そこで本研究では，深層ニューラルネットワークに基づく音響モデルと従来の統計モデルに基づく言語モデルを統合した音楽音響信号の生成モデルを開発した．提案モデルにおいて，言語モデルはセミマルコフモデル（semi-Markov model; SMM）で構成され，調に依存しながら音符系列が生成される過程を表現する．また，音響モデルは畳み込みリカレントニューラルネットワーク（convolutional recurrent neural network; CRNN）で構成され，音符に基づいて観測音楽音響信号が生成される過程を表現する．提案モデルは，言語モデルに基づく音符に関する文法的な知識とCRNN音響モデルの表現力の両方を活用しながら，ビタビアルゴリズムを用いて音楽信号から直接音符を推定する．実際の音楽音響信号と合成の歌声を用いた評価実験では，従来の歌声F0軌跡に対する歌声採譜手法よりも高い性能を達成した．また，音響モデルのみ用いて推定された楽譜よりも高い性能を達成したことから，言語モデルと音響モデルを統合することの有効性も確認した．