Cooperative Route Planning Framework for Multiple Distributed Assets in Maritime Applications
Cooperative Route Planning Framework for Multiple Distributed Assets in Maritime Applications
复制标题
海事应用中多种分布式资产的协同路线规划框架
DOI：
10.1145/3514221.3526131
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Sidoti, David
中科院分区：
文献类型：
--
作者：
Nikookar, Sepideh;Sakharkar, Paras;Somasunder, Sathyanarayanan;Basu Roy, Senjuti;Bienkowski, Adam;Macesker, Matthew;Pattipati, Krishna R.;Sidoti, David
这项工作形式化了路线规划问题（RPP），其中一组分布式资产（例如，船舶、潜艇、无人系统）同时规划路线以优化团队目标（例如，以最小的时间和/或燃料消耗找到未知威胁或物体的位置）同时确保规划的路线满足某些约束（例如，避免碰撞和障碍物）。对于多个分布式资产，这个问题变得极其复杂，因为搜索空间呈指数级增长以设计此类计划。RPP被形式化为一个团队离散马尔可夫决策过程（TDMDP），我们提出了一个多智能体多目标强化学习（MaMoRL）框架来解决它，并研究了在现实环境中部署解决方案的挑战和近似机会。我们通过实验证明了MaMoRL在多个真实世界和合成网格以及迁移学习上的有效性。MaMoRL被部署用于加利福尼亚州蒙特雷的海军研究实验室-海洋气象部（NRL-MMD）。
This work formalizes the Route Planning Problem (RPP), wherein a set of distributed assets (e.g., ships, submarines, unmanned systems) simultaneously plan routes to optimize a team goal (e.g., find the location of an unknown threat or object in minimum time and/or fuel consumption) while ensuring that the planned routes satisfy certain constraints (e.g., avoiding collisions and obstacles). This problem becomes overwhelmingly complex for multiple distributed assets as the search space grows exponentially to design such plans. The RPP is formalized as a Team Discrete Markov Decision Process (TDMDP) and we propose a Multi-agent Multi-objective Reinforcement Learning (MaMoRL) framework for solving it. We investigate challenges in deploying the solution in real-world settings and study approximation opportunities. We experimentally demonstrate MaMoRL's effectiveness on multiple real-world and synthetic grids, as well as for transfer learning. MaMoRL is deployed for use by the Naval Research Laboratory - Marine Meteorology Division (NRL-MMD), Monterey, CA.
登录
查看更多内容
通过应用程序提供主动决策支持的上下文驱动框架
影响因子：
3.9
作者：
Manisha Mishra;D. Sidoti;G. V. Avvari;Pujitha Mannaru;D. F. M. Ayala;K. Pattipati;D. Kleinman
通讯作者：
D. Kleinman
使用深度强化学习自动生成数据探索会话
DOI：
--
发表时间：
2020
期刊：
SIGMOD Conference
影响因子：
--
作者：
Ori Bar El;Tova Milo;Amit Somech
通讯作者：
Amit Somech
DOI：
10.1002/nme.2579
发表时间：
2009-09-10
影响因子：
2.9
作者：
Geuzaine, Christophe;Remacle, Jean-Francois
通讯作者：
Remacle, Jean-Francois
通过强化学习协调多个智能体
影响因子：
1.9
作者：
Gang Chen;Zhonghua Yang;Hao He;K. M. Goh
通讯作者：
K. M. Goh
通过强化学习与队友建模和奖励分配进行多智能体合作
DOI：
--
发表时间：
2011
期刊：
International Conference on Fuzzy Systems and Knowledge Discovery
影响因子：
--
作者：
Pucheng Zhou;Huiyan Shen
通讯作者：
Huiyan Shen