Study of Analyzing Dynamical Behaviors and 3D Reconstruction from Video Sequences

视频序列动态行为分析和 3D 重建研究

• 批准号: 22500167
• 负责人: OHYA Jun
• 金额: $ 2.75万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2010
• 资助国家: 日本
• 起止时间: 2010 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22500167/
• 关键词: コンピュータビジョン; 動画像処理; 行動認識; ベイジアンネットワーク; 手話認識; 表情; 動的カメラ; 動物体; 追跡; ３次元復元; 表情認識; パーティクルフィルター; 手振り認識; 3次元復元; 修正RANSAC; 動画像; 移動カメラ; 樹木; テンソル分解

Among many research topics related to video sequence analysis, this research focuses on the following topics: (1) Human posture estimation, (2) Tracking and recognizing humans, (3) Pose estimation of a moving camera and 3D reconstruction, and (4) Analysis of botanical trees’ behaviors. In (1), we study a method that utilizes results of detedting the user’s postures of the face, hand and fingers for human interface between a large screen, showing effectiveness of the proposed method. In (2), we explore human tracking and action recognition by a tensor analysis based method, recognition of customers’ behaviors in shops by a Bayesian Network based method, and Condenstation algorithm based recognition of sign langues’ vocabularies that use facial expressions and hand gestures. In (3), we research how to detect moving objects from dynamic video sequences and to reconstruct 3D structure of the detected objects, showing the validity of the proposed method. In (4), we study how to track a leaf in front of other leaves using a Particle filter, showing promising results.

在与视频序列分析有关的许多研究主题中，该研究的重点是以下主题：（1）人类的姿势估计，（2）跟踪和识别人类，（3）对移动相机和3D重建的构成估计，以及（4）对植物树的行为的分析。在（1）中，我们研究了一种方法，该方法利用了鉴定用户在大屏幕之间进行人界面的脸部，手指和手指的姿势的结果，从而显示了所提出的方法的有效性。在（2）中，我们通过基于张量分析的方法，通过基于贝叶斯网络的方法在商店中对客户的行为的认可以及基于凝结算法的识别标志语言对使用面部表情和手动性手感的声音的识别。在（3）中，我们研究了如何从动态视频序列中检测移动对象并重建检测到的对象的3D结构，以显示所提出方法的有效性。在（4）中，我们研究了如何使用粒子过滤器在其他叶子前的叶子跟踪叶片，从而显示出希望的结果。

项目成果

Study of Estimating Face Direction and Forefinger Motion for Manipulating a Virtual Object in a Large Screen - Combining Detection of Face Direction and Particle Filter Based Hand and Finger Tracking -

估计面部方向和食指运动以在大屏幕中操纵虚拟对象的研究 - 结合面部方向检测和基于粒子滤波器的手和手指跟踪 -

• 发表时间: 2011
• 作者: 呉明翰;大谷淳
• 通讯作者: 大谷淳

Study of the Particle Filter Based Method for Tracking the Dynamical Behaviors of Botanical Tree Leaves in Video Sequence

基于粒子滤波器的视频序列中植物树叶动态行为跟踪方法的研究

• 发表时间: 2012
• 作者: Khanh N. Do;Jun Ohya
• 通讯作者: Jun Ohya

Study of temporal modified-RANSAC basedmethod for the extraction and 3D shape reconstruction of moving objectsfrom dynamic stereo images and for estimating the camera pose

基于时间改进 RANSAC 的方法研究，用于从动态立体图像中提取和 3D 形状重建运动物体并估计相机位姿

• 发表时间: 2011
• 期刊: Proc.of SPIE-IS&T Electronic Imaging
• 作者: Naotomo Tatematsu;Jun Ohya
• 通讯作者: Jun Ohya

Study of Human Gesture Recognition by Integrating Face and Hand Motion Features

融合人脸和手部运动特征的人体手势识别研究

• 发表时间: 2010
• 作者: Luo Dan;Hazim Kemal Ekenel;Jun Ohya
• 通讯作者: Jun Ohya

ベイジアンネットワークを用いた店舗内における消費者の行動認識に関する研究

基于贝叶斯网络的商店消费者行为识别研究

• 发表时间: 2013
• 作者: 鄭曜;大谷淳
• 通讯作者: 大谷淳