聴覚モデルに基づく新しい人工内耳による音声・音楽信号処理の研究

前年度からの研究の継続して、抽出したMIDI等の音楽情報からの主旋律を、小節またはフレーズなどの所定単位で分割し、その各分割旋律について音階と音程を解析して、時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。求めた音階セットの音程列を略維持しつつ、人工内耳音階に含まれる異なる音階を数多く含むように、音階セットを移調する。この移調した音階セットを拡張音階セットとする。この場合、人工内耳音階を含む音階セットを複数探索し、人工内耳音階に含まれる異なる音階を最も多く含む移調した音階セットを拡張音階セットとする。またこのとき、音階を高調波及び低調波に展開した音階マップを用いる。そして、求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換して、出力する。これまで、人工内耳音階への割付による歪のため、原曲とは異なり、音痴気味になり、また、キーが高すぎて歌唱に適さない問題点があったが、本年度は、拡張人工内耳音階とすることによって、健聴者および人工内耳装用者にとって違和感のないメロディを提供できた。日本の童謡130曲を対象とし、拡張人工内耳音階に基づく編曲を作成した。約8割の曲が拡張人工内耳音階に移調できた。浜松医大にて7名の被験者の協力を得て、編曲を完了した曲の聴取評価を行った。その結果、変換により、延べ聴取実験曲数114曲中57曲が原曲に比べて評価が上がった。原曲よりも拡張人工内耳音階曲にした方が人工内耳装用者にとって音楽らしく聴こえる人が半分いる。曲による違い、個人差が大きいが、たとえ評価が良くなった方が少数であっても、その方のQOLにとっては良いことであり、意義あると考える。共同研究先の信州大学および浜医大および本学の倫理委員会で承認を得た。

前年度からの研究の継続して、抽出したMIDI等の音楽情報からの主旋律を、小節またはフレーズなどの所定単位で分割し、その各分割旋律について音階と音程を解析して、時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。求めた音階セットの音程列を略維持しつつ、人工内耳音階に含まれる異なる音階を数多く含むように、音階セットを移調する。この移調した音階セットを拡張音階セットとする。この場合、人工内耳音階を含む音階セットを複数探索し、人工内耳音階に含まれる異なる音階を最も多く含む移調した音階セットを拡張音階セットとする。またこのとき、音階を高調波及び低調波に展開した音階マップを用いる。そして、求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換して、出力する。これまで、人工内耳音階への割付による歪のため、原曲とは異なり、音痴気味になり、また、キーが高すぎて歌唱に適さない問題点があったが、本年度は、拡張人工内耳音階とすることによって、健聴者および人工内耳装用者にとって違和感のないメロディを提供できた。日本の童謡130曲を対象とし、拡張人工内耳音階に基づく編曲を作成した。約8割の曲が拡張人工内耳音階に移調できた。浜松医大にて7名の被験者の協力を得て、編曲を完了した曲の聴取評価を行った。その結果、変換により、延べ聴取実験曲数114曲中57曲が原曲に比べて評価が上がった。原曲よりも拡張人工内耳音階曲にした方が人工内耳装用者にとって音楽らしく聴こえる人が半分いる。曲による違い、個人差が大きいが、たとえ評価が良くなった方が少数であっても、その方のQOLにとっては良いことであり、意義あると考える。共同研究先の信州大学および浜医大および本学の倫理委員会で承認を得た。