音の三要素に基づく生成過程を考慮した深層ベイズ自動採譜

本研究では，音楽音響信号を構成する全ての楽器に対して各楽譜を推定する，多楽器自動採譜技術を扱う．現代音楽では多種多様な楽器が使用されるため，多楽器自動採譜は楽曲の保存と再現の観点から重要な技術である．従来は，採譜対象の楽器を事前に複数種類指定し，各楽器に依存した個別の採譜モデルを作成することで，各楽譜の推定が行われていた．そのため，使用する訓練データに含まれない楽器をはじめとする多くの楽器は楽譜推定の対象外となり，一般の楽曲に対しては採譜できないという問題があった．そこで本年度は，汎用性の高い採譜手法開発への第一歩として，1) 音高と音色の分離に基づく広範な楽器音の解析，2) 楽器音の分離表現学習における奏法の考慮，という観点から以下の研究を行った．(1) 認識と生成の双方向性を同時に扱う深層ベイズモデルを用いて，対象楽器に制限を設けることなく，楽器音の音高と音色を分析する手法を開発した．時変特徴と時不変特徴を備えた変分自己符号化器を用いて，楽器音から音高と音色を認識し，また生成および編集も可能にした．入力楽器音に与える音高と音色に関する摂動と各潜在表現の不変性に着目することで，ラベル情報に起因する対象楽器の制約を撤廃した．しかし，同一の楽器でも奏法（ビブラートやピッチカート等）の違いによって，異なる楽器として認識されてしまう問題も残った．(2) 楽器音認識のための分離表現学習において，従来主流であった二要素分離を発展させ，奏法の違いを陽に考慮する三要素分離手法を開発した．これにより，一つの楽器に対し複数の奏法を割り当てることを可能にした．さらに，異なる楽器音の間で各要素を置換することで，楽器や音高，奏法の変換を行う手法も開発した．

本研究では，音楽音響信号を構成する全ての楽器に対して各楽譜を推定する，多楽器自動採譜技術を扱う．現代音楽では多種多様な楽器が使用されるため，多楽器自動採譜は楽曲の保存と再現の観点から重要な技術である．従来は，採譜対象の楽器を事前に複数種類指定し，各楽器に依存した個別の採譜モデルを作成することで，各楽譜の推定が行われていた．そのため，使用する訓練データに含まれない楽器をはじめとする多くの楽器は楽譜推定の対象外となり，一般の楽曲に対しては採譜できないという問題があった．そこで本年度は，汎用性の高い採譜手法開発への第一歩として，1) 音高と音色の分離に基づく広範な楽器音の解析，2) 楽器音の分離表現学習における奏法の考慮，という観点から以下の研究を行った．(1) 認識と生成の双方向性を同時に扱う深層ベイズモデルを用いて，対象楽器に制限を設けることなく，楽器音の音高と音色を分析する手法を開発した．時変特徴と時不変特徴を備えた変分自己符号化器を用いて，楽器音から音高と音色を認識し，また生成および編集も可能にした．入力楽器音に与える音高と音色に関する摂動と各潜在表現の不変性に着目することで，ラベル情報に起因する対象楽器の制約を撤廃した．しかし，同一の楽器でも奏法（ビブラートやピッチカート等）の違いによって，異なる楽器として認識されてしまう問題も残った．(2) 楽器音認識のための分離表現学習において，従来主流であった二要素分離を発展させ，奏法の違いを陽に考慮する三要素分離手法を開発した．これにより，一つの楽器に対し複数の奏法を割り当てることを可能にした．さらに，異なる楽器音の間で各要素を置換することで，楽器や音高，奏法の変換を行う手法も開発した．