リモート合唱システムとコロナ収束後の超合唱システムへの発展及びデータベースの公開

点击翻译按钮获取中文摘要

本年度は以下の研究に取り組み以下の成果を得ることができた．第一は，超合唱に向けての研究である．初年度においては歌唱者の発声タイミングをずれを補正する研究に取り組んだが，このズレを解消しても，複数の歌唱音声が聴覚的には溶け込まずに分離したまま知覚されるという問題があることがわかった．以下では，この問題を調和感の問題と呼ぶことにする．本年度は，この調和感の問題が生じる原因を究明するために本研究課題で作成している歌唱音源のデータベースを利用して解析と考察を行った．具体的には，調和感の問題を残響感の差異や歌唱者の発音の癖の差異，さらにはマイクの位置差異など収録音源や収録環境による差異ごとに分けて考え，それぞれについて，時間軸，周波数軸，位相などの信号処理論的観点との結びつきを整理し一覧表にすることで，問題の起こる要因を総括した．この表に基づく考察と，歌唱音源のデータベースによる実験を元に，歌唱者のスペクトル包絡間に差異があることが，調和感の問題の要因のひとつであるとの仮説を立て，検証を行った．具体的には，複数の歌唱者の歌唱波形を時間周波数平面に展開し時間方向と周波数方向に平滑化した後，平面上の一点一点において複数の歌唱者のスペクトルを全歌唱者のスペクトルの平均的な値に近づけることにより調和感の問題解決をはかった．結果として，調和感は期待どおりに減らすことができたものの，合唱本来の多人数感が薄れるというデメリットも確認され，提案手法の利点と限界についての知見が得られた．第二は，システムとして実装するFPGAシステム構築に関する研究である．上に述べた成果に基づき，スペクトルの包絡についてリアルタイムで適応的に修正を行うIPコアをVreilog言語による設計で制作し，論理合成と配置配線の結果，期待通りに動作していることを確かめた．