Learning cross-modal visual-tactile representation using ensembled generative adversarial networks
Learning cross-modal visual-tactile representation using ensembled generative adversarial networks
复制标题
使用集成生成对抗网络学习跨模态视觉触觉表示
DOI：
10.1049/ccs.2018.0014
复制
发表时间：
2019-03
影响因子：
--
通讯作者：
Fuchun Sun
中科院分区：
文献类型：
--
作者：
Xinwu Li;Huaping Liu;Junfeng Zhou;Fuchun Sun
在这项研究中，作者研究了一种可以将视觉转换为触觉信息的深度学习模型，使得不同的纹理图像经过训练和学习后可以反馈到接近真实触觉的触觉信号。本研究重点研究不同图像视觉信息的分类及其相应的触觉反馈输出方式。提出了一种集成生成对抗网络的训练模型，具有训练简单、结果效率稳定的特点。同时，与以往判断触觉输出的方法相比，除了人类主观感知之外，本研究还提供了客观量化的评价体系来验证模型的性能。实验结果表明，该学习模型能够将图像的视觉信息转化为接近真实触觉的触觉信息，也验证了触觉评价方法的科学性。
In this study, the authors study a deep learning model that can convert vision into tactile information, so that different texture images can be fed back to the tactile signal close to the real tactile sensation after training and learning. This study focuses on the classification of different image visual information and its corresponding tactile feedback output mode. A training model of ensembled generative adversarial networks is proposed, which has the characteristics of simple training and stable efficiency of the result. At the same time, compared with the previous methods of judging the tactile output, in addition to subjective human perception, this study also provides an objective and quantitative evaluation system to verify the performance of the model. The experimental results show that the learning model can transform the visual information of the image into the tactile information, which is close to the real tactile sensation, and also verify the scientificity of the tactile evaluation method.
登录
查看更多内容
DOI：
10.1109/whc.2015.7177703
发表时间：
2015-06
期刊：
2015 IEEE World Haptics Conference (WHC)
影响因子：
--
作者：
Sunghwan Shin;Reza Haghighi Osgouei;Ki-duk Kim;Seungmoon Choi
通讯作者：
Sunghwan Shin;Reza Haghighi Osgouei;Ki-duk Kim;Seungmoon Choi
DOI：
10.1109/icccnt56998.2023.10306417
发表时间：
2022-02
期刊：
2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT)
影响因子：
--
作者：
Gilad Cohen;Raja Giryes
通讯作者：
Gilad Cohen;Raja Giryes
DOI：
10.1007/978-3-319-93399-3_3
发表时间：
2018-06
期刊：
ArXiv
影响因子：
--
作者：
Yusuke Ujitoko;Yuki Ban
通讯作者：
Yusuke Ujitoko;Yuki Ban
影响因子：
5.6
作者：
Augustus Odena;C. Olah;Jonathon Shlens
通讯作者：
Augustus Odena;C. Olah;Jonathon Shlens
DOI：
--
发表时间：
2017-05
期刊：
ArXiv
影响因子：
--
作者：
Chris Donahue;Zachary Chase Lipton;Akshay Balsubramani;Julian McAuley
通讯作者：
Chris Donahue;Zachary Chase Lipton;Akshay Balsubramani;Julian McAuley