One-Shot Transfer of Affordance Regions? AffCorrs!
One-Shot Transfer of Affordance Regions? AffCorrs!
复制标题
DOI：
10.48550/arxiv.2209.07147
复制
发表时间：
2022-09
期刊：
影响因子：
--
通讯作者：
Denis Hadjivelichkov;Sicelukwanda Zwane;M. Deisenroth;L. Agapito;D. Kanoulas
中科院分区：
文献类型：
--
作者：
Denis Hadjivelichkov;Sicelukwanda Zwane;M. Deisenroth;L. Agapito;D. Kanoulas
在这项工作中，我们解决了一杆视觉搜索的对象部分。给定具有注释示能区域的对象的单个参考图像，我们在目标场景内分割出语义对应的部分。我们提出了AffCorrs，这是一种无监督模型，它结合了预训练的DINO-ViT图像描述符和循环对应的属性。我们使用AffCorrs找到相应的启示内和类间的一次性部分分割。这项任务比监督的替代方案更困难，但可以通过模仿和辅助遥操作来学习未来的工作。
In this work, we tackle one-shot visual search of object parts. Given a single reference image of an object with annotated affordance regions, we segment semantically corresponding parts within a target scene. We propose AffCorrs, an unsupervised model that combines the properties of pre-trained DINO-ViT's image descriptors and cyclic correspondences. We use AffCorrs to find corresponding affordances both for intra- and inter-class one-shot part segmentation. This task is more difficult than supervised alternatives, but enables future work such as learning affordances via imitation and assisted teleoperation.