Bidirectional Generation of Object Images and Positions using Deep Generative Models for Service Robotics Applications
Bidirectional Generation of Object Images and Positions using Deep Generative Models for Service Robotics Applications
复制标题
使用服务机器人应用的深度生成模型双向生成对象图像和位置
DOI：
10.1109/ieeeconf49454.2021.9382768
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Taniguchi Tadahiro
中科院分区：
文献类型：
--
作者：
Hayashi Kaede;Zheng Wenru;Hafi Lotfi El;Hagiwara Yoshinobu;Taniguchi Tadahiro
引入自动化服务系统和机器人对于降低零售行业的运营成本和提高运营效率非常重要。为此，我们开发了一个系统，使机器人代理商能够在商店中展示产品。使用机器人代理的常见监督方法实现产品展示自动化的主要问题是识别产品类别和各种不同商店布局中的排列需要大量数据。为了解决这个问题，我们提出了一种基于联合多模态变分自动编码器（JMVAE）的跨模态推理系统，该系统可以学习机器人代理在现场观察到的物体图像信息和位置信息之间的关系。在我们的实验中，我们创建了一个复制便利店的模拟环境，允许机器人代理观察物体图像及其 3D 坐标信息，并确认 JMVAE 是否可以以双向方式学习并生成物体图像和 3D 坐标的共享表示。
The introduction of systems and robots for automated services is important for reducing running costs and improving operational efficiency in the retail industry. To this aim, we develop a system that enables robot agents to display products in stores. The main problem in automating product display using common supervised methods with robot agents is the huge amount of data required to recognize product categories and arrangements in a variety of different store layouts. To solve this problem, we propose a crossmodal inference system based on joint multimodal variational autoencoder (JMVAE) that learns the relationship between object image information and location information observed on site by robot agents. In our experiments, we created a simulation environment replicating a convenience store that allows a robot agent to observe an object image and its 3D coordinate information, and confirmed whether JMVAE can learn and generate a shared representation of an object image and 3D coordinates in a bidirectional manner.
DOI：
10.1109/sii.2017.8279367
发表时间：
2017
期刊：
2017 IEEE/SICE International Symposium on System Integration (SII)
影响因子：
--
作者：
K. Wada
通讯作者：
K. Wada
基于潜在狄利克雷分配的多模态概念中词义的基础
影响因子：
2
作者：
Tomoaki Nakamura;T. Araki;T. Nagai;N. Iwahashi
通讯作者：
N. Iwahashi