同世界放送のための分散型リアルタイム映像収集合成技術

複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの同世界放送システムの実現を目的とする。高いスケーラビリティを維持したシステムでは処理コンピュータ（ノード）の追加や削除によって各ノードの処理負荷や通信遅延を制御でき、同世界映像が視聴端末で再生されるまでの待ち時間や視聴中の再生途切れ時間も軽減できる。2022年度はまず、想定する同世界放送のために必要な映像処理技術の調査と検証を行った。また、「合成処理を伴う分散リアルタイム映像収集」に関する研究を進め、中継ノード上での映像を合成しつつ収集する分散合成手法を提案した。提案手法ではまず、撮影端末からのリアルタイム映像をクラウド上のノードで分担する。各映像の担当ノードは自身の仮想リンクに基づいて、ほかの担当ノードへリアルタイム映像を転送し、同世界映像として配信を担当するノードまで最終的に転送する。このとき、中継ノード上で複数の映像を合成し、合成後の映像のみ次のノードへ転送することで、通信負荷の削減や合成処理の分散を行える。さらに、合成予定の位置や奥行き情報から図4のような各映像の重なり（オクルージョン）を判別し、映像の収集と合成の順序に反映する。提案手法はシミュレーションやテストベッドを用いて評価し、ノードが多い環境で既存手法よりも計算時間が短く、リアルタイム性などにおける有効性を確認した。

複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの同世界放送システムの実現を目的とする。高いスケーラビリティを維持したシステムでは処理コンピュータ（ノード）の追加や削除によって各ノードの処理負荷や通信遅延を制御でき、同世界映像が視聴端末で再生されるまでの待ち時間や視聴中の再生途切れ時間も軽減できる。2022年度はまず、想定する同世界放送のために必要な映像処理技術の調査と検証を行った。また、「合成処理を伴う分散リアルタイム映像収集」に関する研究を進め、中継ノード上での映像を合成しつつ収集する分散合成手法を提案した。提案手法ではまず、撮影端末からのリアルタイム映像をクラウド上のノードで分担する。各映像の担当ノードは自身の仮想リンクに基づいて、ほかの担当ノードへリアルタイム映像を転送し、同世界映像として配信を担当するノードまで最終的に転送する。このとき、中継ノード上で複数の映像を合成し、合成後の映像のみ次のノードへ転送することで、通信負荷の削減や合成処理の分散を行える。さらに、合成予定の位置や奥行き情報から図4のような各映像の重なり（オクルージョン）を判別し、映像の収集と合成の順序に反映する。提案手法はシミュレーションやテストベッドを用いて評価し、ノードが多い環境で既存手法よりも計算時間が短く、リアルタイム性などにおける有効性を確認した。