Hybrid 3D Reconstruction for Geometry-Based Free Viewpoint Video

基于几何的自由视点视频的混合 3D 重建

基本信息

项目摘要

Our purpose is to develop algorithms for capturing time-varying 3D scene geometry in the context of Free Viewpoint Video applications. This requires a large working volume of at least 2.5m x 2.5m x 3m for capturing a scene. Our strategy involves the generation of a 3D computer graphics model from the captured scene geometry. This model is used at the receiver to reconstruct full parallax Free Viewpoint stereoscopic video. In order to display the time- and view-varying 3D content of the scene on stereoscopic or multi-view displays, it is important that solutions are real-time capable and allow capture of 3D computer graphics models that are as complete and as accurate as possible. Our research strategy attempts to overcome limitations of active and passive techniques for image reconstruction by combining information from both techniques in a hybrid sensor fusion approach. To this end, we employ a multi-projector multi-camera system to project structured light onto the scene and a phase-shifting technique to extract depth and texture information in an active vision approach. The passive multi-camera system is then used to arrive at additional disparity information, which will improve depth and texture reconstruction of the 3D scene model. In order to reduce texture dependent artifacts that stem from large aperture cameras we will derive deconvolution algorithms that use the inverse of an estimated spatially varying point-spread function.
我们的目的是开发算法捕捉时变的3D场景几何在自由视点视频应用程序的上下文中。这需要至少2.5m x 2.5m x 3m的大工作体积来捕捉一个场景。我们的策略包括从捕获的场景几何图形生成3D计算机图形模型。该模型用于接收端重建全视差无视点立体视频。为了在立体或多视图显示器上显示场景的时间和视图变化的3D内容,重要的是解决方案具有实时能力,并允许捕获尽可能完整和准确的3D计算机图形模型。我们的研究策略试图通过在混合传感器融合方法中结合两种技术的信息来克服主动和被动图像重建技术的局限性。为此,我们采用多投影仪多摄像机系统将结构光投射到场景中,并采用相移技术在主动视觉方法中提取深度和纹理信息。然后利用被动多相机系统获得额外的视差信息,从而改善三维场景模型的深度和纹理重建。为了减少源于大孔径相机的纹理相关伪影,我们将推导使用估计的空间变化点扩展函数的逆卷积算法。

项目成果

期刊论文数量(2)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Consensus-based multiview texturing and depth-map completion
基于共识的多视图纹理和深度图完成
Image guided phase unwrapping for real-time 3D-scanning
用于实时 3D 扫描的图像引导相位展开
  • DOI:
    10.1109/pcs.2015.7170058
  • 发表时间:
    2015
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Thilo Borgmann;Michael Tok;Thomas Sikora
  • 通讯作者:
    Thomas Sikora
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Professor Dr.-Ing. Thomas Sikora其他文献

Professor Dr.-Ing. Thomas Sikora的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Professor Dr.-Ing. Thomas Sikora', 18)}}的其他基金

Lagrangian-Convolutional Networks for Video Classification
用于视频分类的拉格朗日卷积网络
  • 批准号:
    434160640
  • 财政年份:
    2019
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Hybrides Analyse-Syntheseverfahren zur 2D-3D-Videokonvertierung
2D-3D视频转换的混合分析合成方法
  • 批准号:
    164804818
  • 财政年份:
    2010
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Multiple-Description-Codierung von Sprachsignalen
语音信号的多描述编码
  • 批准号:
    5441934
  • 财政年份:
    2004
  • 资助金额:
    --
  • 项目类别:
    Research Grants
Vereinheitlichte, hierarchische Personendeskriptoren zur Lokalisierung und zum Retrieval von Personen in Videobildern mittels nicht-linearer Klassifikationsmethoden
统一的、分层的人物描述符,用于使用非线性分类方法定位和检索视频图像中的人物
  • 批准号:
    5348146
  • 财政年份:
    2002
  • 资助金额:
    --
  • 项目类别:
    Priority Programmes

相似国自然基金

锰酸锂基复合气凝胶的3D打印构筑及其提锂机制研究
  • 批准号:
    JCZRLH202500778
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
智能3D超微血管成像联合实时剪切波弹性评估胎盘功能对高血压孕妇子痫前期的预测效能分析
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
3D打印楔形梯度多孔支架的优化构建及促进HTO术后骨再生修复的实验研究
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于3D Slicer的颅内动脉瘤破裂风险评估机器学习模型开发及临床推广应用
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
3D打印PH-GBS@CCP复合支架诱导骨肉瘤铜死亡及增效抗PD-1治疗的作用机制研究
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
双重固化3D打印连续纤维C/C复合材料成型与渗碳致密化机理研究
  • 批准号:
    2025JJ60269
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
载椎体骨髓干细胞外泌体3D打印n-HA/PA66生物支架的研制及促脊柱融合机制研究
  • 批准号:
    2025JJ80409
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于微流控技术的3D细胞培养体系构建及在乳腺癌耐药机制中应用研究
  • 批准号:
    2025JJ70487
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目

相似海外基金

ZooCELL: Tracing the evolution of sensory cell types in animal diversity: multidisciplinary training in 3D cellular reconstruction, multimodal data ..
ZooCELL:追踪动物多样性中感觉细胞类型的进化:3D 细胞重建、多模态数据方面的多学科培训..
  • 批准号:
    EP/Y037049/1
  • 财政年份:
    2024
  • 资助金额:
    --
  • 项目类别:
    Research Grant
Tracing the evolution of sensory cell types in animal diversity: multidisciplinary training in 3D cellular reconstruction, multimodal data analysis
追踪动物多样性中感觉细胞类型的进化:3D 细胞重建、多模式数据分析的多学科培训
  • 批准号:
    EP/Y037081/1
  • 财政年份:
    2024
  • 资助金额:
    --
  • 项目类别:
    Research Grant
3DFace@Home: A pilot study for robust and highly accurate facial 3D reconstruction from mobile devices for facial growth monitoring at home
3DFace@Home:一项通过移动设备进行稳健且高精度面部 3D 重建的试点研究,用于家庭面部生长监测
  • 批准号:
    EP/X036642/1
  • 财政年份:
    2024
  • 资助金额:
    --
  • 项目类别:
    Research Grant
Collaborative Research: CCSS: Continuous Facial Sensing and 3D Reconstruction via Single-ear Wearable Biosensors
合作研究:CCSS:通过单耳可穿戴生物传感器进行连续面部传感和 3D 重建
  • 批准号:
    2401415
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
Fully Bayesian 3D PET-MR Neuroimaging Reconstruction
完全贝叶斯 3D PET-MR 神经影像重建
  • 批准号:
    2886403
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Studentship
Study on 3D Reconstruction of Anatomical Structures from Laparoscopic Images
腹腔镜图像解剖结构的 3D 重建研究
  • 批准号:
    23KJ1110
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
Replicating Dynamic Objects without Explicit 3D Reconstruction
无需显式 3D 重建即可复制动态对象
  • 批准号:
    23KJ0284
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
I-Corps: 3D Scanning Tool for Reconstruction Via Uncertainty Quantification
I-Corps:通过不确定性量化进行重建的 3D 扫描工具
  • 批准号:
    2330157
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
3D reconstruction of diabetic foot ulcers using remote scanning technology
利用远程扫描技术3D重建糖尿病足溃疡
  • 批准号:
    10057062
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Grant for R&D
Space radiation dosimeter development using fluorescent nuclear track detector with 3D track reconstruction and AI technology
使用具有 3D 轨迹重建和人工智能技术的荧光核径迹探测器开发空间辐射剂量计
  • 批准号:
    23K17040
  • 财政年份:
    2023
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了