同世界放送のための分散型リアルタイム映像収集合成技術

全球广播的分布式实时视频采集和合成技术

基本信息

批准号：
22K12009
负责人：
川上朋也
金额：
$ 2.58万
依托单位：
University of Fukui
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの同世界放送システムの実現を目的とする。高いスケーラビリティを維持したシステムでは処理コンピュータ（ノード）の追加や削除によって各ノードの処理負荷や通信遅延を制御でき、同世界映像が視聴端末で再生されるまでの待ち時間や視聴中の再生途切れ時間も軽減できる。2022年度はまず、想定する同世界放送のために必要な映像処理技術の調査と検証を行った。また、「合成処理を伴う分散リアルタイム映像収集」に関する研究を進め、中継ノード上での映像を合成しつつ収集する分散合成手法を提案した。提案手法ではまず、撮影端末からのリアルタイム映像をクラウド上のノードで分担する。各映像の担当ノードは自身の仮想リンクに基づいて、ほかの担当ノードへリアルタイム映像を転送し、同世界映像として配信を担当するノードまで最終的に転送する。このとき、中継ノード上で複数の映像を合成し、合成後の映像のみ次のノードへ転送することで、通信負荷の削減や合成処理の分散を行える。さらに、合成予定の位置や奥行き情報から図4のような各映像の重なり（オクルージョン）を判別し、映像の収集と合成の順序に反映する。提案手法はシミュレーションやテストベッドを用いて評価し、ノードが多い環境で既存手法よりも計算時間が短く、リアルタイム性などにおける有効性を確認した。

通过在多个实时图像上执行背景删除和其他过程，并将提取的拍摄目标组合到一个图像中，可以实现实时广播，其中拍摄目标存在于同一空间中。该研究主题称此类直播“同一世界广播”，旨在实现高度可扩展的世界广播系统。在保持高扩展性的系统中，可以通过添加或删除处理计算机（节点）来控制每个节点的处理负载和通信延迟，并且可以减少观看终端的视频和观看过程中播放中断的时间的等待时间。在2022财年，我们首先对同一世界的预期广播所需的视频处理技术进行了调查和验证。此外，对“具有合成处理的分布式实时视频收集”进行了研究，并提出了一种分布式合成技术，其中图像是在中继节点上合成和收集的。提出的方法首先涉及分享云上节点的拍摄终端中的实时视频。负责每个视频的节点会根据自己的虚拟链接将实时视频传输到其他节点，并最终将其传输到负责将视频流式传输为同一世界的节点。目前，将多个图像组合在继电器节点上，并且只有将图像后传输到下一个节点后的图像，从而减少了通信负载并分发合成处理。此外，每个视频的重叠（遮挡）如图所示。 4由要合成的位置和深度信息确定，并以视频的收集和合成顺序反映。使用模拟和测试床评估了所提出的方法，并且计算时间比许多节点的环境中的现有方法短，并且其有效性已在实时和其他方面得到确认。