Learning-detailed 3D face reconstruction based on convolutional neural networks from a single image
Learning-detailed 3D face reconstruction based on convolutional neural networks from a single image
复制标题
基于单幅图像的卷积神经网络学习详细的 3D 人脸重建
DOI：
10.1007/s00521-020-05373-w
复制
发表时间：
2020-09
影响因子：
6
通讯作者：
Javed Muhammad Sufyan
中科院分区：
文献类型：
--
作者：
Khan Asad;Hayat Sak;er;Ahmad Muhammad;Cao Jinde;Tahir Muhammad Faizan;Ullah Asad;Javed Muhammad Sufyan
卷积神经网络（CNN）的效率促进了3D人脸重建，它将单个图像作为输入，并在生成详细的人脸几何形状方面表现出显着的性能。对大规模标记数据的依赖是使基于CNN的技术取得显著成功的关键。然而，没有这样的数据集是公开可用的，其提供具有相应解释的3D面部几何形状的全面数量的面部图像。现有技术的基于学习的3D人脸重建方法通过使用具有非照片真实感合成人脸图像的人脸的粗糙变形模型来合成训练数据。在这篇文章中，通过使用基于学习的逆人脸渲染，我们提出了一种新的数据生成技术，通过渲染大量的人脸图像，是照片般真实的，具有独特的属性。基于实时精细纹理3D人脸重建，包括体面的构造数据集，我们可以训练两个级联的CNN以粗到细的方式。这些网络经过训练，用于从单个图像重建实际详细的3D人脸。实验结果表明，该方法可以有效地从一幅输入图像重建具有几何细节的三维人脸形状。此外，结果表明，我们的技术的效率，姿势，表情和照明动态。
The efficiency of convolutional neural networks (CNNs) facilitates 3D face reconstruction, which takes a single image as an input and demonstrates significant performance in generating a detailed face geometry. The dependence of the extensive scale of labelled data works as a key to making CNN-based techniques significantly successful. However, no such datasets are publicly available that provide an across-the-board quantity of face images with correspondingly explained 3D face geometry. State-of-the-art learning-based 3D face reconstruction methods synthesize the training data by using a coarse morphable model of a face having non-photo-realistic synthesized face images. In this article, by using a learning-based inverse face rendering, we propose a novel data-generation technique by rendering a large number of face images that are photo-realistic and possess distinct properties. Based on the real-time fine-scale textured 3D face reconstruction comprising decently constructed datasets, we can train two cascaded CNNs in a coarse-to-fine manner. The networks are trained for actual detailed 3D face reconstruction from a single image. Experimental results demonstrate that the reconstruction of 3D face shapes with geometry details from only one input image can efficiently be performed by our method. Furthermore, the results demonstrate the efficiency of our technique to pose, expression and lighting dynamics.
登录
查看更多内容
DOI：
--
发表时间：
2015-09
期刊：
ArXiv
影响因子：
--
作者：
Feng Liu;Dan Zeng;Jing Li;Qijun Zhao
通讯作者：
Feng Liu;Dan Zeng;Jing Li;Qijun Zhao
DOI：
10.1109/cvpr.2015.7298679
发表时间：
2015-06
期刊：
2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Xiangyu Zhu;Zhen Lei;Junjie Yan;Dong Yi;Stan Z. Li
通讯作者：
Xiangyu Zhu;Zhen Lei;Junjie Yan;Dong Yi;Stan Z. Li
阴影形状
DOI：
10.1002/9780470050118.ecse628
发表时间：
2009
期刊：
--
影响因子：
--
作者：
A. Tankus;N. Sochen;Y. Yeshurun
通讯作者：
Y. Yeshurun
DOI：
--
发表时间：
2017-03
期刊：
ArXiv
影响因子：
--
作者：
Hyeongwoo Kim;M. Zollhöfer;A. Tewari;Justus Thies;Christian Richardt;C. Theobalt
通讯作者：
Hyeongwoo Kim;M. Zollhöfer;A. Tewari;Justus Thies;Christian Richardt;C. Theobalt
FaceWarehouse：用于视觉计算的 3D 面部表情数据库
DOI：
10.1109/tvcg.2013.249
发表时间：
2014-03-01
影响因子：
5.2
作者：
Cao, Chen;Weng, Yanlin;Zhou, Kun
通讯作者：
Zhou, Kun