複数の全方位画像に基づく動的な広域3次元シーンの映像生成

昨年度は、動的なシーンの状況を取り扱うため、明度変動に注目したパノラマ画像の合成方法について検討した。また、全方位画像を撮影するための装置(多自由度カメラ雲台)の首振り回転範囲の拡大改造を行った。本年度は、この改造した雲台を用い、実際のシーンの中で全方位画像を取得する方法を中心に研究を行ってきた。特に、動的全方位画像の取得方法の検討として、実際のシーンを扱う場合の、静的、あるいは、動的なシーン状況の抽出について研究を行った。具体的には、首振りによってカメラの視線方向を制御し、全方位画像を取得する時に、ある1つの視線方向に対して、時間的に連続な複数枚の画像(数秒間の数百フレーム)を取得し、その時系列画像の各画素の値に対して中央値(メディアン)を算出することによって、シーン内の静的状況を取得し、さらに、この静的状況画像と撮影画像から、動的に変動した部分を抽出する方法について研究した。この方法により、シーン内を移動する人物や車両などを取り除き、静的な全方位シーン状況の取得が可能となった。さらに、上記の方法を効率よく行って全方位画像の取得時間を短縮するために、あるカメラの視線方向において、静的状況を算出するために必要十分な時系列画像を取得する方法として、画像の撮影・処理枚数をそこまで撮影した時系列画像における変動の統計量に基づいて決定する方法について検討した。具体的には、各画素の値のヒストグラムの時間変化の大きさを算出し、その変化がある閾値より小さくなった場合に、その方向での処理を打ち切るという方法である。これにより、変動の少ない部分での撮影時間を大幅に短縮することができ、これまでの数分の一の時間で全方位画像の取得を行うことが可能となった。

昨年度は、動的なシーンの状況を取り扱うため、明度変動に注目したパノラマ画像の合成方法について検討した。また、全方位画像を撮影するための装置(多自由度カメラ雲台)の首振り回転範囲の拡大改造を行った。本年度は、この改造した雲台を用い、実際のシーンの中で全方位画像を取得する方法を中心に研究を行ってきた。特に、動的全方位画像の取得方法の検討として、実際のシーンを扱う場合の、静的、あるいは、動的なシーン状況の抽出について研究を行った。具体的には、首振りによってカメラの視線方向を制御し、全方位画像を取得する時に、ある1つの視線方向に対して、時間的に連続な複数枚の画像(数秒間の数百フレーム)を取得し、その時系列画像の各画素の値に対して中央値(メディアン)を算出することによって、シーン内の静的状況を取得し、さらに、この静的状況画像と撮影画像から、動的に変動した部分を抽出する方法について研究した。この方法により、シーン内を移動する人物や車両などを取り除き、静的な全方位シーン状況の取得が可能となった。さらに、上記の方法を効率よく行って全方位画像の取得時間を短縮するために、あるカメラの視線方向において、静的状況を算出するために必要十分な時系列画像を取得する方法として、画像の撮影・処理枚数をそこまで撮影した時系列画像における変動の統計量に基づいて決定する方法について検討した。具体的には、各画素の値のヒストグラムの時間変化の大きさを算出し、その変化がある閾値より小さくなった場合に、その方向での処理を打ち切るという方法である。これにより、変動の少ない部分での撮影時間を大幅に短縮することができ、これまでの数分の一の時間で全方位画像の取得を行うことが可能となった。