High-fidelity, directable animation transfer using facial decomposition on optimized micro-sequences

使用优化微序列上的面部分解进行高保真、可定向动画传输

基本信息

  • 批准号:
    522014-2017
  • 负责人:
  • 金额:
    $ 3.68万
  • 依托单位:
  • 依托单位国家:
    加拿大
  • 项目类别:
    Collaborative Research and Development Grants
  • 财政年份:
    2018
  • 资助国家:
    加拿大
  • 起止时间:
    2018-01-01 至 2019-12-31
  • 项目状态:
    已结题

项目摘要

**The entertainment industry delivers media products around the world to people speaking a large number of distinct languages. Media products such as TV or internet spots, movies and video games, typically consist of a video and sound stream. To accommodate different languages, the producers typically re-generate the sound stream in different language in a post-production step, a process known as dubbing. While it still takes a lot of effort to re-generate the sound stream (dubbing), one of the remaining open challenges both from a research and production point of view is how to synchronize the original video stream with the new audio stream. The lack of synchronization creates a very uncanny effect that takes away from the experience since the lip motion of the actors does not correspond to the soundtrack. In this project we propose a practical solution to the dubbing synchronization problem, producing natural results that can be used in a production studio. To achieve that, we created a strategic partnership with AudioZ, a production studio located in Montreal with whom we will collaborate on this project. We propose a video synthesis method that blends animation focusing on the lip area while preserving the facial expression of the original actor. Our method uses novel optimization techniques to avoid the common undesired uncanny valley effect of video synthesis.******
** 娱乐业向世界各地讲大量不同语言的人提供媒体产品。电视或互联网广告、电影和视频游戏等媒体产品通常由视频和声音流组成。为了适应不同的语言,制作者通常在后期制作步骤中以不同的语言重新生成声音流,该过程称为配音。虽然重新生成声音流(配音)仍然需要大量的工作,但从研究和制作的角度来看,剩下的开放挑战之一是如何将原始视频流与新的音频流同步。缺乏同步创造了一个非常离奇的效果,带走了经验,因为嘴唇运动的演员不符合配乐。在这个项目中,我们提出了一个实用的解决方案,配音同步问题,产生自然的结果,可以在生产工作室使用。为了实现这一目标,我们与AudioZ建立了战略合作伙伴关系,AudioZ是一家位于蒙特利尔的制作工作室,我们将与他们合作这个项目。我们提出了一种视频合成方法,融合动画集中在嘴唇区域,同时保留原始演员的面部表情。我们的方法使用了新的优化技术,以避免视频合成中常见的不希望出现的恐怖谷效应。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Popa, Tiberiu其他文献

High temperature water gas shift catalysts with alumina
  • DOI:
    10.1016/j.apcata.2010.02.021
  • 发表时间:
    2010-05-15
  • 期刊:
  • 影响因子:
    5.5
  • 作者:
    Popa, Tiberiu;Xu, Guoqing;Argyle, Morris D.
  • 通讯作者:
    Argyle, Morris D.
Markerless garment capture
  • DOI:
    10.1145/1360612.1360698
  • 发表时间:
    2008-08-01
  • 期刊:
  • 影响因子:
    6.2
  • 作者:
    Bradley, Derek;Popa, Tiberiu;Boubekeur, Tamy
  • 通讯作者:
    Boubekeur, Tamy
Highly selective and stable Cu/SiO2 catalysts prepared with a green method for hydrogenation of diethyl oxalate into ethylene glycol
  • DOI:
    10.1016/j.apcatb.2017.02.072
  • 发表时间:
    2017-07-15
  • 期刊:
  • 影响因子:
    22.1
  • 作者:
    Ding, Jie;Popa, Tiberiu;Zhong, Qin
  • 通讯作者:
    Zhong, Qin

Popa, Tiberiu的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Popa, Tiberiu', 18)}}的其他基金

A New Pipeline for Detailed Large Scale Geometry Acquisition and Analysis
用于详细的大规模几何采集和分析的新流程
  • 批准号:
    RGPIN-2021-03477
  • 财政年份:
    2022
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Discovery Grants Program - Individual
A garment acquisition pipeline for game asset retargetting
用于游戏资产重新定位的服装收购渠道
  • 批准号:
    561038-2020
  • 财政年份:
    2021
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Alliance Grants
A New Pipeline for Detailed Large Scale Geometry Acquisition and Analysis
用于详细的大规模几何采集和分析的新流程
  • 批准号:
    RGPIN-2021-03477
  • 财政年份:
    2021
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Discovery Grants Program - Individual
Computer aided tools for automation of industrial inspections
用于工业检查自动化的计算机辅助工具
  • 批准号:
    535746-2018
  • 财政年份:
    2020
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Collaborative Research and Development Grants
A garment acquisition pipeline for game asset retargetting
用于游戏资产重新定位的服装收购渠道
  • 批准号:
    561038-2020
  • 财政年份:
    2020
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Alliance Grants
Next generation motion controller and synthesis for game characters
下一代运动控制器和游戏角色合成
  • 批准号:
    505237-2016
  • 财政年份:
    2019
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Collaborative Research and Development Grants
High-fidelity, directable animation transfer using facial decomposition on optimized micro-sequences
使用优化微序列上的面部分解进行高保真、可定向动画传输
  • 批准号:
    522014-2017
  • 财政年份:
    2019
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Collaborative Research and Development Grants
Multimodal synchronous spatial-temporal acquisition of facial features and tongue for medical applications
用于医疗应用的面部特征和舌头的多模态同步时空采集
  • 批准号:
    RGPIN-2014-05884
  • 财政年份:
    2019
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Discovery Grants Program - Individual
Computer aided tools for automation of industrial inspections**
用于工业检查自动化的计算机辅助工具**
  • 批准号:
    535746-2018
  • 财政年份:
    2018
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Collaborative Research and Development Grants
Next generation motion controller and synthesis for game characters
下一代运动控制器和游戏角色合成
  • 批准号:
    505237-2016
  • 财政年份:
    2018
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Collaborative Research and Development Grants

相似海外基金

Directable Animation
直接动画
  • 批准号:
    560306-2020
  • 财政年份:
    2021
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Alliance Grants
High-fidelity, directable animation transfer using facial decomposition on optimized micro-sequences
使用优化微序列上的面部分解进行高保真、可定向动画传输
  • 批准号:
    522014-2017
  • 财政年份:
    2019
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Collaborative Research and Development Grants
Substrate-Directable Chemical Reactions
底物可直接化学反应
  • 批准号:
    476787-2014
  • 财政年份:
    2014
  • 资助金额:
    $ 3.68万
  • 项目类别:
    University Undergraduate Student Research Awards
Directable data transmission with digital lighting and camera
通过数字照明和摄像头进行直接数据传输
  • 批准号:
    23500241
  • 财政年份:
    2011
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Automata, Formal Language and Computation Theory
自动机、形式语言和计算理论
  • 批准号:
    10044098
  • 财政年份:
    1998
  • 资助金额:
    $ 3.68万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B).
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了