机器人-动物混合群体互动行为挖掘与强化研究

Swarm robotics is an important topic in the field of robot swarm and swarm intelligence. Regarding robot swarm as a special animal swarm, it can interact with real animal swarm, even influence, intervene and control the behavior of animal swarm, which has the potential to provide a controllable means of wildlife and ecosystem protection for human beings. In this kind of mixed swarm, the only human controllable factor is the individual behavior rule of the robot. Inspired by the phenomenon in species evolution, this project explores the evolution strategy of individual behavior rules of robots from two directions, i.e. diversity and specificity. Finally the mixed swarm can emerges orderly behavior. To conduct this research, it is necessary to develop a robot-animal interaction experimental platform. Based on this platform, novelty search is adopted to encourage the generation of diverse robot behavior rules, so a large number of behavior feature samples are collected. Through dimensionality reduction and clustering, multiple interactive behavior patterns of mixed swarm are found and identified from samples. Then, a specific behavior pattern is selected from the discovered interactive behavior patterns. As a starting point, group reinforcement learning is used to train the behavior rules of robots to enhance the probability and duration of appearance this behavior pattern, so as to enhance the control ability of robot swarm over animal swarm.

群机器人是机器人集群和群体智能领域的重要研究方向。将机器人群体视为动物群体，使其与真实动物群体进行互动，甚至影响、干预和控制动物群体的行为，有潜力为人类提供一种可控的野生动物和生态系统保护手段。这种混合群体中，唯一人为可控的因素是机器人的个体行为规则。借鉴物种演化的现象，本项目从行为的多样性和特异性两个方向，对机器人个体行为规则的演化策略展开探索，使混合群体涌现出有序行为。为此，需要开发机器人-动物群体互动实验平台。基于此实验平台，首先以新颖性搜索为核心，鼓励产生多样化的机器人行为规则，并采集大量行为特征样本。通过降维和聚类从样本中发现和识别混合群体的多种互动行为模式。然后，从发掘出的互动行为模式中选择特定行为模式，以此为出发点，使用群体强化学习训练机器人的行为规则，以增强这种行为模式的出现概率和持续时间，从而增强机器人群体对动物群体的控制能力。

机器人集群是当前机器人领域和群体智能领域的共同热点，但是当前围绕机器人集群的研究，无论是同构集群（由单一类型机器人组成的集群），还是异构集群（由多种不同类型机器人组成的集群），组成群体的个体都是可以人为控制或人为设计行为规则的机器人，在本研究中，这类集群都被称为可控集群，其相关研究已经非常丰富。与之前的研究不同，本项目的研究对象是混合集群。在混合集群中，有一部分个体是人为可控的机器人，称为“可控集群”；而另一部分个体，其行为无法人为直接控制，但是可以被机器人影响，称为“不可控集群”。混合集群的核心问题是，如何通过设计行为规则来控制可控集群，从而间接影响不可控集群的行为，使混合集群整体涌现出规律性行为。机器人-动物混合群体是一种典型的混合集群，对其互动行为的研究在生态环境保护等领域会有重要的应用前景，如可以引导动物在栖息地之间迁徙等。为此，本项目以机器人-动物混合群体为研究对象开展研究，经过大量分析和试验，分别以蚁群和小鲫鱼/鲤鱼为实验对象进行实验台设计与开发。设计了机器人集群-蚁群实验台，并开发了使用气泡喷口阵列模拟机器人集群的气阵-鱼群互动实验台。其中气阵-鱼群互动实验台可以实现1-10台模拟机器人与5-15条真实鱼的互动行为实验，并识别和记录实验过程中的鱼群分布数据。基于上述实验台，研究了混合集群互动行为挖掘与强化算法的整个流程。上述流程包括可控集群行为规则生成，互动行为数据采集，行为特征向量设计与行为挖掘/强化等环节。在仿真环境下对上述算法的有效性进行了验证。在此基础上，分别研究了基于观察法和深度学习法的气阵-鱼群互动行为建模，并设计了若干种气阵控制规则，在真实环境中使鱼群表现出了一定的群体性行为。本项目对混合集群的互动行为进行了研究。在本项目支持下研发的机器人-动物混合集群实验台可以为后续混合集群互动行为研究提供实验条件，所研究的行为挖掘算法也为后续研究提供了支撑和参考。

内容获取失败，请点击重试