权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

深層ベイズ学習に基づく歌声の認識と生成の統一理論

基于深度贝叶斯学习的歌声识别与生成统一理论

基本信息

批准号：
19J15255
负责人：
錦見亮
金额：
$ 1.34万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J15255/
关键词：
音楽情報処理自動採譜歌声採譜

项目摘要

本研究では，音楽音響信号から歌声が担う主旋律の楽譜を推定する歌声採譜技術を扱う．主旋律は多くの楽曲の印象に密接に関連しているため，歌声採譜は認識・生成の双方向歌声解析において重要な技術である．歌声の音高軌跡（F0軌跡）はビブラートやオーバシュート等の歌唱表現よって，楽譜に記述された音符の音高や発音時刻から大きく逸脱しているため，単純な方法では音楽的に不自然な音符列が推定されてしまう．また，従来法は事前推定したF0軌跡を時間・周波数方向に離散化して楽譜を推定しているが，事前推定による誤差伝播の問題や音符のオンセット情報が欠落したF0軌跡からは同音高の連続音符の境界が判定不能という問題があるため，音楽音響信号を直接扱える手法の構築が必要であった．そこで本研究では，深層ニューラルネットワークに基づく音響モデルと従来の統計モデルに基づく言語モデルを統合した音楽音響信号の生成モデルを開発した．提案モデルにおいて，言語モデルはセミマルコフモデル（semi-Markov model; SMM）で構成され，調に依存しながら音符系列が生成される過程を表現する．また，音響モデルは畳み込みリカレントニューラルネットワーク（convolutional recurrent neural network; CRNN）で構成され，音符に基づいて観測音楽音響信号が生成される過程を表現する．提案モデルは，言語モデルに基づく音符に関する文法的な知識とCRNN音響モデルの表現力の両方を活用しながら，ビタビアルゴリズムを用いて音楽信号から直接音符を推定する．実際の音楽音響信号と合成の歌声を用いた評価実験では，従来の歌声F0軌跡に対する歌声採譜手法よりも高い性能を達成した．また，音響モデルのみ用いて推定された楽譜よりも高い性能を達成したことから，言語モデルと音響モデルを統合することの有効性も確認した．

In this study, there are でで, musical sound signals, ら, singing, が, う, main melody, <s:1>, musical score, を, する, and singing score collection techniques, を, う. Melody は more くの joy song の impression に contact に masato even しているため, song transcribing は know, generate の both sides to song parsing において important な technology である. Song の pitch trajectory (F0 trajectory) はビブラートやオーバシュートの singing performance such as よって, joy spectrum に account された notes の pitch や発 sound moment から big きく ease off しているため, 単 pure な method では sound of joy に unnatural な notes column が presumption されてしまう. また従 to law presumption は advance した F0 trajectory を time, cycle for direction に discretization して joy spectrum を presumption しているが, advance the presumption によ伝 sowing のる error problem や notes のオンセット intelligence が owe fall した F0 trajectory からは homophones high の even 続 notes の realm が judgement cannot という problem があるため, The musical sound signal を directly handles える techniques are used to construct が necessary であった. そこで this study では, deep ニューラルネットワークに base づく sound モデルと従 to の statistical モデルに base づく words モデルを integration した sound joy sound signal の generated モデルを open 発した. Proposal モデルにおいて, words モデルはセミマルコフモデル (semi - Markov model; SMM) で constitute され, adjustable に dependent しながら notes series が generated されをる process performance する. また, acoustics モデルは畳み込みリカレントニューラルネットワーク (convolutional recurrent neural network; CRNN) で constitute され, notes に base づいて観 measuring sound joy sound signal が generated されをる process performance する. Proposal モデルは, words モデルに base づく notes に masato する grammar knowledge of なと CRNN sound モデルの expressive の struck party を use しながら, ビタビアルゴリズムを with いて sound joy signal から notes directly を presumption する. Joy be interstate の notes sound signal と synthetic をの song with いた review 価 be 験では, 従 to F0 の song tracks にす seaborne る song transcribing gimmick よりもいを performance to achieve high した. また, acoustics モデルのみ with いて presumption された joy spectrum よりもいを performance to achieve high したことから, speech モデルと sound モデルを integration することの have sharper sex も confirm した.