近年来，全向摄像机的研究成为计算机视觉领域中的研究热点之一，全向摄像机主要有两类：反射折射摄像机和纯折射式摄像机。纯折射式全向摄像机的实现通常是利用鱼眼镜头来获得广角图像。目前，全向摄像机的校正技术日趋成熟，校正的准确程度也越来越高。但是，根据多幅广角图像研究反射折射摄像机的运动和场景结构估计方法的文献报道还不多，研究鱼眼摄像机运动和场景结构估计方法的文献更少见。由于因子分解方法具有鲁棒性高和不依赖参考图像坐标系的选择等特点。所以本项目拟：1）从理论上提出基于因子分解法的鱼眼图像序列投影矩阵初始值估计方法；2）探讨鱼眼摄像机模型与鱼眼图像尺度因子之间的关系，并给出基于因子分解法的鱼眼摄像机运动信息和三维场景结构估计算法；3）研究基于因子分解法的鱼眼摄像机运动和场景结构估计算法的鲁棒性问题，从而给出高鲁棒性的算法。