Realtime Novel View Synthesis with Eigen-Texture Regression
Realtime Novel View Synthesis with Eigen-Texture Regression
复制标题
具有特征纹理回归的实时新颖视图合成
DOI：
10.5244/c.31.83
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Ambrosio Blanco
中科院分区：
文献类型：
--
作者：
Yuta Nakashima;Fumio Okura;Norihiko Kawai;Ryosuke Kimura;Hiroshi Kawasaki;K. Ikeuchi;Ambrosio Blanco
实时新奇视图合成可以实时生成真实对象或场景的新奇视图，具有广泛的应用，包括增强现实、远程呈现和沉浸式电信。具有粗糙几何形状的基于图像的渲染（IBR）只需使用现成的相机即可完成，因此可供许多用户使用。然而，由于颜色不连续性，来自野外图像（例如，照明条件变化或场景包含具有镜面表面的物体）的 IBR 一直是一个棘手的问题；具有粗糙几何形状的 IBR 可为给定视点拾取适当的图像，但用于渲染单元（面或像素）的图像会在视点移动时切换，这可能会导致颜色发生明显变化。我们使用特征纹理技术，该技术使用特征空间中的点来表示特定脸部的图像。我们建议在这个空间中回归一个新的点，在给定一个视点的情况下，该点平滑移动，以便我们可以生成颜色根据该点平滑变化的图像。我们的回归器基于具有单个隐藏层和双曲正切非线性的神经网络。我们使用我们自己的数据集以及公开可用的数据集进行比较，展示了 IBR 方法的优势。
Realtime novel view synthesis, which generates a novel view of a real object or scene in realtime, enjoys a wide range of applications including augmented reality, telepresence, and immersive telecommunication. Image-based rendering (IBR) with rough geometry can be done using only an off-the-shelf camera and thus can be used by many users. However, IBR from images in the wild (e.g., lighting condition changes or the scene contains objects with specular surfaces) has been a tough problem due to color discontinuity; IBR with rough geometry picks up appropriate images for a given viewpoint, but the image used for a rendering unit (a face or pixel) switches when the viewpoint moves, which may cause noticeable changes in color. We use the eigen-texture technique, which represents images for a certain face using a point in the eigenspace. We propose to regress a new point in this space, which moves smoothly, given a viewpoint so that we can generate an image whose color smoothly changes according to the point. Our regressor is based on a neural network with a single hidden layer and hyperbolic tangent nonlinearity. We demonstrate the advantages of our IBR approach using our own datasets as well as publicly available datasets for comparison.
DOI：
--
发表时间：
--
期刊：
--
影响因子：
--
作者：
通讯作者：
--
关于抑制约束误差的爱因斯坦方程离散格式
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
石井 将大;照屋 唯紀;安田 貴徳;Sabrou Saitoh;H. Kawasaki;星野秀朋，佐藤慧，米田元
通讯作者：
星野秀朋，佐藤慧，米田元