Multimodal VAE Active Inference Controller
Multimodal VAE Active Inference Controller
复制标题
多模态 VAE 主动推理控制器
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Pablo Lanillos
中科院分区：
文献类型：
--
作者：
Cristian Meo;Pablo Lanillos
主动推理是一种受大脑处理启发的理论结构，是控制人工智能体的一种很有前途的替代方法。然而，目前的方法还不能扩展到连续控制中的高维输入。在这里，我们提出了一种用于工业臂的新型主动推理扭矩控制器，它保持了以前本体感觉方法的自适应特性，但也可以实现大规模的多模态集成（例如，原始图像）。我们通过使用线性耦合多模态变分自编码器包括多模态表示学习扩展了之前的数学公式。我们在一个模拟的7DOF Franka Emika Panda机器人手臂上评估了我们的模型，并将其行为与先前的主动推理基线和Panda内置优化控制器进行了比较。结果表明，由于增强的表征能力、对噪声的高鲁棒性和对环境条件和机器人参数变化的适应性，在不需要重新学习生成模型和参数返回的情况下，改进了目标定向到达的跟踪和控制。
Active inference, a theoretical construct inspired by brain processing, is a promising alternative to control artificial agents. However, current methods do not yet scale to high-dimensional inputs in continuous control. Here we present a novel active inference torque controller for industrial arms that maintains the adaptive characteristics of previous proprioceptive approaches but also enables large-scale multimodal integration (e.g., raw images). We extended our previous mathematical formulation by including multimodal state representation learning using a linearly coupled multimodal variational autoencoder. We evaluated our model on a simulated 7DOF Franka Emika Panda robot arm and compared its behavior with a previous active inference baseline and the Panda built-in optimized controller. Results showed improved tracking and control in goal-directed reaching due to the increased representation power, high robustness to noise and adaptability in changes on the environmental conditions and robot parameters without the need to relearn the generative models nor parameters retuning.
DOI：
10.1109/icra48506.2021.9562009
发表时间：
2020-05
期刊：
2021 IEEE International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Mohamed Baioumy;Paul Duckworth;Bruno Lacerda;Nick Hawes
通讯作者：
Mohamed Baioumy;Paul Duckworth;Bruno Lacerda;Nick Hawes