Visual-Tactile Cross-Modal Data Generation Using Residue-Fusion GAN With Feature-Matching and Perceptual Losses
Visual-Tactile Cross-Modal Data Generation Using Residue-Fusion GAN With Feature-Matching and Perceptual Losses
复制标题
使用具有特征匹配和感知损失的残差融合 GAN 生成视觉-触觉跨模态数据
DOI：
10.1109/lra.2021.3095925
复制
发表时间：
2021-07
影响因子：
5.2
通讯作者：
Narumi Takuji
中科院分区：
文献类型：
--
作者：
Cai Shaoyu;Zhu Kening;Ban Yuki;Narumi Takuji
现有的心理物理学研究表明，人类日常活动中的跨通道视觉-触觉知觉是常见的。然而，建立从一个通道空间到另一个通道空间的算法映射，即跨通道视觉-触觉数据转换/生成，仍然是具有挑战性的，这可能对机器人操作具有潜在的重要意义。在这封信中，我们提出了一种基于深度学习的跨通道视觉触觉数据生成方法，该方法利用生成性对抗网络(GANS)的框架。该方法以材料表面的视觉图像为视觉数据，以笔在表面滑动产生的加速度计信号为触觉数据。我们采用条件GAN(CGAN)结构和残差融合(RF)模块，并用附加特征匹配(FM)和感知损失对模型进行训练，以实现跨模式数据生成。实验结果表明，在对生成数据的分类准确率和地面真实数据与生成数据的视觉相似性方面，加入射频模块、调频和感知损失显著提高了跨模式数据生成的性能。
Existing psychophysical studies have revealed that the cross-modal visual-tactile perception is common for humans performing daily activities. However, it is still challenging to build the algorithmic mapping from one modality space to another, namely the cross-modal visual-tactile data translation/generation, which could be potentially important for robotic operation. In this letter, we propose a deep-learning-based approach for cross-modal visual-tactile data generation by leveraging the framework of the generative adversarial networks (GANs). Our approach takes the visual image of a material surface as the visual data, and the accelerometer signal induced by the pen-sliding movement on the surface as the tactile data. We adopt the conditional-GAN (cGAN) structure together with the residue-fusion (RF) module, and train the model with the additional feature-matching (FM) and perceptual losses to achieve the cross-modal data generation. The experimental results show that the inclusion of the RF module, and the FM and the perceptual losses significantly improves cross-modal data generation performance in terms of the classification accuracy upon the generated data and the visual similarity between the ground-truth and the generated data.
登录
查看更多内容
DOI：
10.1109/icra.2019.8794095
发表时间：
2019-05
期刊：
2019 International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Gyan Tatiya;Jivko Sinapov
通讯作者：
Gyan Tatiya;Jivko Sinapov
DOI：
10.1365/s40702-020-00689-6
发表时间：
2020-11-26
期刊：
HMD Praxis der Wirtschaftsinformatik
影响因子：
--
作者：
D’Onofrio S;Meinhardt S
通讯作者：
Meinhardt S
DOI：
10.1109/icccnt56998.2023.10306417
发表时间：
2022-02
期刊：
2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT)
影响因子：
--
作者：
Gilad Cohen;Raja Giryes
通讯作者：
Gilad Cohen;Raja Giryes
DOI：
10.1109/cvpr.2017.478
发表时间：
2017-04
期刊：
2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Wenzhen Yuan;Shaoxiong Wang;Siyuan Dong;E. Adelson
通讯作者：
Wenzhen Yuan;Shaoxiong Wang;Siyuan Dong;E. Adelson
DOI：
10.2312/egve.20201254
发表时间：
2020-12
期刊：
The Plant cell
影响因子：
--
作者：
Shaoyu Cai;Yuki Ban;Takuji Narumi;Kening Zhu
通讯作者：
Shaoyu Cai;Yuki Ban;Takuji Narumi;Kening Zhu