Eagle: End-to-end Deep Reinforcement Learning based Autonomous Control of PTZ Cameras
Eagle: End-to-end Deep Reinforcement Learning based Autonomous Control of PTZ Cameras
复制标题
Eagle：基于端到端深度强化学习的 PTZ 摄像机自主控制
DOI：
10.1145/3576842.3582366
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Srivastava, Mani
中科院分区：
文献类型：
--
作者：
Sandha, Sandeep Singh;Balaji, Bharathan;Garcia, Luis;Srivastava, Mani
现有的方法自主控制的平移-倾斜-变焦（PTZ）相机使用多个阶段，其中的对象检测和定位是独立于PTZ机制的控制。这些方法需要手动标记，并且由于跨多级信息流的错误传播而遭受性能瓶颈。对象检测神经网络的大尺寸也使得先前的解决方案对于在资源受限的设备中的实时部署不可行。我们提出了一个端到端的深度强化学习（RL）解决方案，称为tickle 1，用于训练神经网络策略，该策略直接将图像作为输入来控制PTZ摄像机。在真实的世界中，由于标签工作、运行时环境的随机性和脆弱的实验设置，训练强化学习很麻烦。我们介绍了一个照片级真实感仿真框架的培训和评估的PTZ摄像机控制策略。Eagle通过将感兴趣的对象保持在高分辨率下靠近捕获图像中心的位置，实现了上级摄像机控制性能，并且跟踪持续时间比最先进的多17%。Eagle策略是轻量级的（参数比Yolo 5s少90倍），可以在嵌入式相机平台上运行，如Raspberry PI（33 FPS）和Jetson Nano（38 FPS），便于资源受限环境的实时PTZ跟踪。通过域随机化，在我们的模拟器中训练的Eagle策略可以直接传输到真实世界的网络2。
Existing approaches for autonomous control of pan-tilt-zoom (PTZ) cameras use multiple stages where object detection and localization are performed separately from the control of the PTZ mechanisms. These approaches require manual labels and suffer from performance bottlenecks due to error propagation across the multi-stage flow of information. The large size of object detection neural networks also makes prior solutions infeasible for real-time deployment in resource-constrained devices. We present an end-to-end deep reinforcement learning (RL) solution called Eagle1 to train a neural network policy that directly takes images as input to control the PTZ camera. Training reinforcement learning is cumbersome in the real world due to labeling effort, runtime environment stochasticity, and fragile experimental setups. We introduce a photo-realistic simulation framework for training and evaluation of PTZ camera control policies. Eagle achieves superior camera control performance by maintaining the object of interest close to the center of captured images at high resolution and has up to 17% more tracking duration than the state-of-the-art. Eagle policies are lightweight (90x fewer parameters than Yolo5s) and can run on embedded camera platforms such as Raspberry PI (33 FPS) and Jetson Nano (38 FPS), facilitating real-time PTZ tracking for resource-constrained environments. With domain randomization, Eagle policies trained in our simulator can be transferred directly to real-world scenarios2.
登录
查看更多内容
视频监控系统中基于Deep-Q网络的自动PTZ摄像机控制
DOI：
--
发表时间：
2019
期刊：
International Conference on Electronics, Information and Communications
影响因子：
--
作者：
Dongchil Kim;Kyoungman Kim;Sungjoo Park
通讯作者：
Sungjoo Park
用于设计用于监控应用的主动云台变焦 (PTZ) 摄像机网络的框架
DOI：
--
发表时间：
2017
期刊：
IEEE Systems Conference
影响因子：
--
作者：
Samer Hanoun;James Zhang;V. Le;Burhan Khan;Michael Johnstone;M. Fielding;A. Bhatti;D. Creighton;S. Nahavandi
通讯作者：
S. Nahavandi
使用模糊控制主动摄像机进行自动人员检测和跟踪
DOI：
--
发表时间：
2007
期刊：
2007 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
Keni Bernardin;F. V. D. Camp;R. Stiefelhagen
通讯作者：
R. Stiefelhagen
使用 PTZ 摄像机主动搜索检测异常物体
影响因子：
8.5
作者：
Ezequiel López;Miguel A. Molina;F. M. Castro;Rafael Marcos Luque Baena;M. Marín;Nicolás Guil Mata
通讯作者：
Nicolás Guil Mata
Mango：用于并行超参数调优的 Python 库
DOI：
10.1109/icassp40776.2020.9054609
发表时间：
2020
期刊：
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
影响因子：
--
作者：
S. Sandha;Mohit Aggarwal;Igor Fedorov;M. Srivastava
通讯作者：
M. Srivastava