自由視点映像生成技術を用いた視聴者視点ナビゲートシステムに関する研究開発

3次元空間中の動的なイベントに対して、視聴者の興味をより惹きつける見え方の映像を自動的に生成・提示する、"視聴渚視点ナビゲートシステム"の基盤技術に関する研究開発を行った。本年度は特に、自由視点映像の高速生成について研究を進めた。2002年11月に実施した大分スタジアムにおける撮影実験において、多視点映像を撮影するPCと自由視点映像を生成するためのPCを高速光ネットワークで結んだシステムを構築し、撮影がら3次元情報推定までの処理時間の短縮を実現した。遠距離観察をターゲットとして、3次元物体の形状を1枚の平面に簡単化し、それに撮影した多視点映像をマッピングすることで、自由視点映像を高速に生成・伝送することが可能な方式を開発した。このアルゴリズムを用いて、大規模空間中を約10名の人物が動き回るイベントの自由視点映像の、撮影、加工、伝送、提示を実時間で処理するシステムを構築し、自由視点中継の可能性を示した。また、遠距離から近距離までの幅広い範囲における観察を可能とする自由視点映像生成方式の研究も行った。「視聴者視点、対象物体、多視点カメラ」の相対的位置関係と、「多視点映像、自由視点映像」の解像度を3次元形状推定処理にフィードバックすることにより、自由視点映像を生成するために必要な3次元形状情報のみを推定する手法を開発した。このアルゴリズムにより、無駄な処理を省き非常に高速な処理が実現された。本手法を1台の汎用PC上に実装し、大規模空間の広い範囲の視点移動を実時間で再現することが可能なシステムを構築した。このように、本年度の研究により、最適な(視聴渚の興味を惹きつける)視点位置への移動要求に瞬時に応えることが可能になり"視聴渚'視点ナビゲートシステム"の実現に近づいた。

3次元空間中の動的なイベントに対して、視聴者の興味をより惹きつける見え方の映像を自動的に生成・提示する、"視聴渚視点ナビゲートシステム"の基盤技術に関する研究開発を行った。本年度は特に、自由視点映像の高速生成について研究を進めた。2002年11月に実施した大分スタジアムにおける撮影実験において、多視点映像を撮影するPCと自由視点映像を生成するためのPCを高速光ネットワークで結んだシステムを構築し、撮影がら3次元情報推定までの処理時間の短縮を実現した。遠距離観察をターゲットとして、3次元物体の形状を1枚の平面に簡単化し、それに撮影した多視点映像をマッピングすることで、自由視点映像を高速に生成・伝送することが可能な方式を開発した。このアルゴリズムを用いて、大規模空間中を約10名の人物が動き回るイベントの自由視点映像の、撮影、加工、伝送、提示を実時間で処理するシステムを構築し、自由視点中継の可能性を示した。また、遠距離から近距離までの幅広い範囲における観察を可能とする自由視点映像生成方式の研究も行った。「視聴者視点、対象物体、多視点カメラ」の相対的位置関係と、「多視点映像、自由視点映像」の解像度を3次元形状推定処理にフィードバックすることにより、自由視点映像を生成するために必要な3次元形状情報のみを推定する手法を開発した。このアルゴリズムにより、無駄な処理を省き非常に高速な処理が実現された。本手法を1台の汎用PC上に実装し、大規模空間の広い範囲の視点移動を実時間で再現することが可能なシステムを構築した。このように、本年度の研究により、最適な(視聴渚の興味を惹きつける)視点位置への移動要求に瞬時に応えることが可能になり"視聴渚'視点ナビゲートシステム"の実現に近づいた。