人間の行動状況理解のための時空間の非線形圧縮による映像の情報要約機構

本計画研究の目標は、講義を様々な観点から蓄積してアーカイブ化するシステムを構築することと、利用者自身がアーカイブの中から必要な部分を選択し、要約する枠組みを提案することである。様々な利用者の目的に応じることを可能とするために、講義アーカイブにはできるだけ多様な映像を記録しておくことが望ましい。そこで、受講者の動きを反映した活性度に基づく撮影と、話者位置を推定することによって、質問等をしている受講者の撮影を実現した。まず、受講者の活性度に応じた多様な映像を撮影するために、確率密度関数に基くカメラワークの決定手法を提案した。できるだけ多くの受講者を映像フレーム内に納めるため、位置的に近くに存在する受講者群を被写体の侯補とし、多数の被写体侯補に対して、受講者の動きに基づく活性度を割り当てた。そして、被写体候補を活性度に基いて順序付けたのち、撮影に利用できるカメラ台数に応じて等分し、それぞれのグループ内に含まれる被写体侯補を選択して撮影する確率を高めた確率密度関数を各カメラに対して割り当てることにより、ある時刻における受講者を、活性度に基き多様に撮影する手法を提案した。また、質問等をしている受講者の表情を撮影するために、講義室に複数設置した分散マイクシステムを用いた話者位置推定を実現した。二本のマイクからなるマイク対に到達する音の位相差を利用して音源方向を推定し、これを複数のマイク対に対して求めることによって、各音源方向の交点付近の領域に存在する話者位置を推定することが可能となった。さらに、利用者自身が視聴したい講義映像の被写体の数や撮影サイズなどの傾向を設定することにより、上記の手法によって撮影した複数の講義映像から、設定を満たすように自動選択して提示する枠組みについて検討した。

本計画研究の目標は、講義を様々な観点から蓄積してアーカイブ化するシステムを構築することと、利用者自身がアーカイブの中から必要な部分を選択し、要約する枠組みを提案することである。様々な利用者の目的に応じることを可能とするために、講義アーカイブにはできるだけ多様な映像を記録しておくことが望ましい。そこで、受講者の動きを反映した活性度に基づく撮影と、話者位置を推定することによって、質問等をしている受講者の撮影を実現した。まず、受講者の活性度に応じた多様な映像を撮影するために、確率密度関数に基くカメラワークの決定手法を提案した。できるだけ多くの受講者を映像フレーム内に納めるため、位置的に近くに存在する受講者群を被写体の侯補とし、多数の被写体侯補に対して、受講者の動きに基づく活性度を割り当てた。そして、被写体候補を活性度に基いて順序付けたのち、撮影に利用できるカメラ台数に応じて等分し、それぞれのグループ内に含まれる被写体侯補を選択して撮影する確率を高めた確率密度関数を各カメラに対して割り当てることにより、ある時刻における受講者を、活性度に基き多様に撮影する手法を提案した。また、質問等をしている受講者の表情を撮影するために、講義室に複数設置した分散マイクシステムを用いた話者位置推定を実現した。二本のマイクからなるマイク対に到達する音の位相差を利用して音源方向を推定し、これを複数のマイク対に対して求めることによって、各音源方向の交点付近の領域に存在する話者位置を推定することが可能となった。さらに、利用者自身が視聴したい講義映像の被写体の数や撮影サイズなどの傾向を設定することにより、上記の手法によって撮影した複数の講義映像から、設定を満たすように自動選択して提示する枠組みについて検討した。