複数の能動的カメラを用いた人の動きの検出とリアルな仮想世界の提示

本研究では、動画像からの顔の検出や表情認識、手の動きや姿勢の検出、人物像の全体の発見などの個々の要素研究を発展させ統合化することにより、仮想世界を見ている人のシーンからの発見、動き(歩行)の抽出、顔の動きの検出などを同時に行える方法の確立をめざす。この目的に対し、本年度は以下の2点に関して研究を行った。[1]能動的カメラの試作:パン角,チルト角,ズ-ム比などを制御できる能動的カメラを改良して高速化を図り,4台の能動的カメラを試作した。[2]人物像の検出:最初,人の可動範囲(仮想世界での動きなのでそれほど広くない)をカバーするように,各カメラのパラメータを設定しておく.各カメラからの画像を処理して人物像を検出するが,いくつかの専門家エージェントの協調分散処理により信頼性良く検出した.すなわち,1)静止している背景と動いているもの(人)とを判別する動物体検出エージェント,2)逆透視変換と呼ばれる手法を用いて,床面とそれ以外を判別する立体物検出エージェント,3)肌色領域や髪領域を検出する色彩処理エージェント,4)顔,手,体などの領域の性質(大きさ、周囲長,アスペクト比など)やこれらの間の関係が満足されているかどうかを検証するエージェントなどが,協調的に画像を処理することにより信頼性良く人物像を検出する.また,各カメラの処理結果を統合することにより,さらに信頼性良く人物像を検証できた.[3]人物のクローズアップとその処理:人物が検出されると,それをより詳細に解析するため,その人物がクローズアップされて写るように各カメラを制御する.[2]と同様の処理により,顔,手,体全体を各カメラの画像において同定するが,[2]での処理結果を用いることにより,効率よく,また信頼性良く求めることができた.来年度は,この処理結果を受けてカメラ方向決定や,人の追跡の3次元運動の復元を行う予定である。

本研究では、動画像からの顔の検出や表情認識、手の動きや姿勢の検出、人物像の全体の発見などの個々の要素研究を発展させ統合化することにより、仮想世界を見ている人のシーンからの発見、動き(歩行)の抽出、顔の動きの検出などを同時に行える方法の確立をめざす。この目的に対し、本年度は以下の2点に関して研究を行った。[1]能動的カメラの試作:パン角,チルト角,ズ-ム比などを制御できる能動的カメラを改良して高速化を図り,4台の能動的カメラを試作した。[2]人物像の検出:最初,人の可動範囲(仮想世界での動きなのでそれほど広くない)をカバーするように,各カメラのパラメータを設定しておく.各カメラからの画像を処理して人物像を検出するが,いくつかの専門家エージェントの協調分散処理により信頼性良く検出した.すなわち,1)静止している背景と動いているもの(人)とを判別する動物体検出エージェント,2)逆透視変換と呼ばれる手法を用いて,床面とそれ以外を判別する立体物検出エージェント,3)肌色領域や髪領域を検出する色彩処理エージェント,4)顔,手,体などの領域の性質(大きさ、周囲長,アスペクト比など)やこれらの間の関係が満足されているかどうかを検証するエージェントなどが,協調的に画像を処理することにより信頼性良く人物像を検出する.また,各カメラの処理結果を統合することにより,さらに信頼性良く人物像を検証できた.[3]人物のクローズアップとその処理:人物が検出されると,それをより詳細に解析するため,その人物がクローズアップされて写るように各カメラを制御する.[2]と同様の処理により,顔,手,体全体を各カメラの画像において同定するが,[2]での処理結果を用いることにより,効率よく,また信頼性良く求めることができた.来年度は,この処理結果を受けてカメラ方向決定や,人の追跡の3次元運動の復元を行う予定である。