Exploring Live Animation Concerts using the AI-based animation synchronization system

点击翻译按钮获取中文摘要

本研究で用いるAI映像同期上映システムは、音楽の生演奏と同期してアニメーションを再生するものである。技術的には、学習済みモデルをもとに演奏中の箇所をリアルタイムで推定するヤマハの音楽AI技術と、人間の介入を許しながら映像の速度調整を行う技術を接続して実現している。2018年にヤマハと東京藝術大学が共同開発を開始した当初より、このシステムはヴィヴァルディのヴァイオリン協奏曲「四季」の生演奏にアニメーションを同期して上映することに活用してきた。そのためこのシステムが、オペラなど器楽以外の曲や、さらには西洋音楽以外のジャンルにどこまで適合できるか未知であった。本研究課題では2021年度（初年度）に、ピアノ伴奏で演奏するオペラの曲にアニメーションを追従させることを試みた。音楽AIが歌唱に追従できることを検証した上で、2022年1月にオペラ「椿姫」のハイライトを字幕を含む映像で演出し、実際のコンサートの場面でオペラの字幕が同期して再生できることを示した。そして2022年度には、邦楽の演奏と同期して字幕を上映することを試みた。邦楽曲としては、唄、三味線、囃子で演奏される長唄の新曲を選んだ。準備段階で演奏を2テイク録音し、テイク1を学習用の参照音源、テイク2を検証用音源として、学習済みAIが検証用音源にほぼ追従できるとの感触を得た。その上で2022年7月に東京藝術大学奏楽堂にて行われた演奏会「和楽の美」で、この曲の字幕の上映を試みた。結果としては、本番では準備段階よりも追従が難しいとの結果になった。この曲は、囃子のリズムが指定されているものの、細部は演奏者の即興に委ねられており、準備段階で学習させた音源と本番の演奏には異なる点があった。このことから、即興性のある音楽に追従させるためには、本番の演奏に近い音源を学習させる必要が明らかになった。