Playing with Food: Learning Food Item Representations through Interactive Exploration
Playing with Food: Learning Food Item Representations through Interactive Exploration
复制标题
玩食物：通过互动探索学习食物表示
DOI：
10.1007/978-3-030-71151-1_28
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Oliver Kroemer
中科院分区：
文献类型：
--
作者：
A. Sawhney;Steven Lee;Kevin Zhang;M. Veloso;Oliver Kroemer
机器人食品操作的一个关键挑战是对各种可变形食品的材料特性进行建模。我们建议使用一种多模态感官方法来与食物互动和玩耍，从而促进区分食物中这些特性的能力。首先，我们使用机械臂和传感器阵列，它们使用ROS同步，收集由21种不同切片和属性的独特食物组成的多样化数据集。之后，我们学习了视觉嵌入网络，该网络利用本体感觉、音频和视觉数据的组合，使用三重损失公式对食品之间的相似性进行编码。我们的评估表明，通过交互学习的嵌入可以成功地提高广泛的材料和形状分类任务的性能。我们设想，这些学习嵌入可以作为规划和选择最佳参数的基础，用于更多的材料感知机器人食品操作技能。此外，我们希望通过与研究界分享这个食物游戏数据集来刺激食品机器人领域的进一步创新。
A key challenge in robotic food manipulation is modeling the material properties of diverse and deformable food items. We propose using a multimodal sensory approach to interact and play with food that facilitates the ability to distinguish these properties across food items. First, we use a robotic arm and an array of sensors, which are synchronized using ROS, to collect a diverse dataset consisting of 21 unique food items with varying slices and properties. Afterwards, we learn visual embedding networks that utilize a combination of proprioceptive, audio, and visual data to encode similarities among food items using a triplet loss formulation. Our evaluations show that embeddings learned through interactions can successfully increase performance in a wide range of material and shape classification tasks. We envision that these learned embeddings can be utilized as a basis for planning and selecting optimal parameters for more material-aware robotic food manipulation skills. Furthermore, we hope to stimulate further innovations in the field of food robotics by sharing this food playing dataset with the research community.
DOI：
--
发表时间：
2018-06
期刊：
ArXiv
影响因子：
--
作者：
J. Matas;Stephen James;A. Davison
通讯作者：
J. Matas;Stephen James;A. Davison
DOI：
10.1109/tmech.2012.2209673
发表时间：
2013-10-01
期刊：
IEEE/ASME transactions on mechatronics : a joint publication of the IEEE Industrial Electronics Society and the ASME Dynamic Systems and Control Division
影响因子：
--
作者：
Boonvisut P;Cavuşoğlu MC
通讯作者：
Cavuşoğlu MC
DOI：
--
发表时间：
2019-07
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Oliver Kroemer;S. Niekum;G. Konidaris
通讯作者：
Oliver Kroemer;S. Niekum;G. Konidaris