Exploring Live Animation Concerts using the AI-based animation synchronization system

使用基于人工智能的动画同步系统探索现场动画音乐会

• 批准号: 21K00190
• 负责人: 桐山 孝司
• 金额: $ 2.58万
• 依托单位: Tokyo National University of Fine Arts and Music
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K00190/
• 关键词: AI; 映像同期; オペラ; 邦楽; 映像; 字幕; 演奏; 同期; 人工知能; アニメーション; ＡＩ

本研究で用いるAI映像同期上映システムは、音楽の生演奏と同期してアニメーションを再生するものである。技術的には、学習済みモデルをもとに演奏中の箇所をリアルタイムで推定するヤマハの音楽AI技術と、人間の介入を許しながら映像の速度調整を行う技術を接続して実現している。2018年にヤマハと東京藝術大学が共同開発を開始した当初より、このシステムはヴィヴァルディのヴァイオリン協奏曲「四季」の生演奏にアニメーションを同期して上映することに活用してきた。そのためこのシステムが、オペラなど器楽以外の曲や、さらには西洋音楽以外のジャンルにどこまで適合できるか未知であった。本研究課題では2021年度（初年度）に、ピアノ伴奏で演奏するオペラの曲にアニメーションを追従させることを試みた。音楽AIが歌唱に追従できることを検証した上で、2022年1月にオペラ「椿姫」のハイライトを字幕を含む映像で演出し、実際のコンサートの場面でオペラの字幕が同期して再生できることを示した。そして2022年度には、邦楽の演奏と同期して字幕を上映することを試みた。邦楽曲としては、唄、三味線、囃子で演奏される長唄の新曲を選んだ。準備段階で演奏を2テイク録音し、テイク1を学習用の参照音源、テイク2を検証用音源として、学習済みAIが検証用音源にほぼ追従できるとの感触を得た。その上で2022年7月に東京藝術大学奏楽堂にて行われた演奏会「和楽の美」で、この曲の字幕の上映を試みた。結果としては、本番では準備段階よりも追従が難しいとの結果になった。この曲は、囃子のリズムが指定されているものの、細部は演奏者の即興に委ねられており、準備段階で学習させた音源と本番の演奏には異なる点があった。このことから、即興性のある音楽に追従させるためには、本番の演奏に近い音源を学習させる必要が明らかになった。

This study uses the AI image to reproduce the music simultaneously. Technology, learning, speed adjustment, speed adjustment In 2018, Tokyo University of the Arts began to jointly develop the first, second and third season concerto "Four Seasons" performance in the same period. For example, if you are interested in a song, you may not be interested in a song. This research topic is for the first year of 2021, and the performance of the accompaniment is for the first time. In January 2022, the song AI was selected from the group consisting of the following subtitles: "Song","Song" and "Song". In 2022, the performance of the song and the subtitles were released. The new song is selected from the music of the song, the song, the song and the song. Prepare for the performance of the stage 2, recording, 1, reference sound source for learning, 2, identification sound source for learning, AI, identification sound source for tracking, and feeling. July 2022 Tokyo University of the Arts Concert "Kazuki no Beauty","Kazuki no Music" subtitles to try out The result is that the preparation stage is difficult to find. The music is different from the original music, and the music is different from the original music. This is the first time I've ever played a song.

项目成果

芸術と科学技術の融合領域に関わる取り組み

与艺术与科学技术融合相关的举措

• 发表时间: 2021
• 作者: Usukhbayar Naranchimeg;Jiang Peng;Takamitsu Tanaka;桐山孝司
• 通讯作者: 桐山孝司

映像制御システム、及び映像制御方法

视频控制系统及视频控制方法

• 发表时间: 2023