REU: CONACyT: Speech Driven Facial Animation

REU:CONACyT:语音驱动的面部动画

基本信息

  • 批准号:
    9906340
  • 负责人:
  • 金额:
    $ 20.93万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    1999
  • 资助国家:
    美国
  • 起止时间:
    1999-09-01 至 2003-08-31
  • 项目状态:
    已结题

项目摘要

This project will produce a faithful 3D animation of the face of a speaker, accurately articulating visible speech, and preserving the natural synchronism between the utterances of the speaker and the corresponding facial movements, including as much of the gestural prosody as possible. This is accomplished through a series of transformations from the speech input to the display. From the phonetic perspective the PIs will study the relation between phonemes and visemes at a level of granularity below the phoneme. From the computer graphics perspective, they will model the facial features so that realistic synchronism with the utterances takes place using the computer vision technique of active contours and the animation technique of multilayer implicit models. Finally, from a prosodic point of view they will apply the concepts of gestural scores which should account, on a more principled basis, for the prosodic phenomena and contextual influences in speech. The gestural model has evolved into a novel task-dynamic approach to invariant articulatory gestures based on an orchestration (by means of a rather parsimonious "score") of a second order spring-mass system reaching for target specific goals. An acoustic features table includes the phasing and duration which characterize gestural scores. This work has important implications not only for animation (films and television, interfaces for the hearing impaired, low bandwidth telephony, repeatable prosody), but also for basic linguistic modeling of prosody across the two languages (English and Spanish) being considered.
该项目将制作演讲者面部的忠实3D动画,准确地表达可见的语音,并保持演讲者说话和相应面部动作之间的自然同步性,包括尽可能多的手势韵律。这是通过从语音输入到显示器的一系列转换来实现的。从语音学的角度来看,个人信息系统将在音位以下的粒度水平上研究音位和视位之间的关系。从计算机图形学的角度来看,他们将对面部特征进行建模,以便使用活动轮廓的计算机视觉技术和多层隐含模型的动画技术来实现与话语的逼真同步。最后,从韵律的角度来看,他们将应用手势分数的概念,这应该在更有原则的基础上解释语音中的韵律现象和语境影响。手势模型已经演变成一种新的任务动态方法,基于达到目标特定目标的二阶弹簧-质量系统的协调(通过相当节俭的“分数”)来处理不变的发音手势。声学特征表包括表征手势分数的相位和持续时间。这项工作不仅对动画(电影和电视、听障人士接口、低带宽电话、可重复韵律)有重要影响,而且对正在考虑的两种语言(英语和西班牙语)韵律的基本语言建模也有重要影响。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Oscar Garcia其他文献

Principios de la cognición mínima de los mixomicetos y las bacterias sociales
混合菌和社会细菌最小认知原理
  • DOI:
  • 发表时间:
    2011
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Oscar Garcia
  • 通讯作者:
    Oscar Garcia
El «Yo» Interior. Reflexiones Transdisciplinares sobre la Experiencia de lo Numinoso
El «Yo» 室内反射。
  • DOI:
  • 发表时间:
    2008
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Oscar Garcia
  • 通讯作者:
    Oscar Garcia
Carga de la Enfermedad Atribuible al Síndrome de Túnel del Carpo en la Población Trabajadora Colombiana: Una Aproximación a los Costos Indirectos de una Enfermedad
  • DOI:
    10.1016/j.vhri.2013.10.003
  • 发表时间:
    2013-12-01
  • 期刊:
  • 影响因子:
  • 作者:
    Francisco Palencia Sánchez;Oscar Garcia;Martha Isabel Riaño Casallas
  • 通讯作者:
    Martha Isabel Riaño Casallas
RADIA - Radio Advertisement Detection with Intelligent Analytics
RADIA - 具有智能分析功能的广播广告检测
  • DOI:
    10.48550/arxiv.2403.03538
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Jorge Álvarez;J. C. Armenteros;Camilo Torr'on;Miguel Ortega;Alfonso Ardoiz;Oscar Garcia;Ignacio Arranz;Íñigo Galdeano;Ignacio Garrido;Adrián Alonso;Fernando Bay'on;Oleg Vorontsov
  • 通讯作者:
    Oleg Vorontsov
Real-Time Lattice Simulations of Quantum Anomalies, Topologies and Particle Production in Strongly Correlated Gauge Theories
强相关规范理论中量子异常、拓扑和粒子产生的实时晶格模拟
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    N. Mueller;Oscar Garcia;N. Tanji;J. Berges
  • 通讯作者:
    J. Berges

Oscar Garcia的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Oscar Garcia', 18)}}的其他基金

Integrative Computer Education and Research in the Southwest: Preparing IT Graduates for 2010 and Beyond
西南地区的综合计算机教育与研究:为 2010 年及以后的 IT 毕业生做好准备
  • 批准号:
    0547299
  • 财政年份:
    2005
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
A Project and Design Oriented Electrical Engineering Curriculum
面向项目和设计的电气工程课程
  • 批准号:
    0343263
  • 财政年份:
    2003
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
CISE Special Project: Research Foundations on Successful Participation of Underrepresented Minorities in Information Technology: A Virtual Conference
CISE 特别项目:代表性不足的少数群体成功参与信息技术的研究基础:虚拟会议
  • 批准号:
    9910768
  • 财政年份:
    1999
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
Travel Grant for Planning Visit to Mexico
计划访问墨西哥的旅行补助金
  • 批准号:
    9820970
  • 财政年份:
    1999
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
ARI: Development of Specialized Communications and Terminal Equipment for Research in Information Technology and Education Technology
ARI:信息技术和教育技术研究专用通信和终端设备的开发
  • 批准号:
    9601670
  • 财政年份:
    1996
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
Teaching Artificial Intelligence and Expert Systems Courses:Content and Strategies for Undergraduate Faculty
教授人工智能和专家系统课程:本科教师的内容和策略
  • 批准号:
    8954352
  • 财政年份:
    1989
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
Fy 1980 Science Faculty Professional Development Program
1980 财年理学院专业发展计划
  • 批准号:
    8013102
  • 财政年份:
    1980
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
A Database Laboratory Facility
数据库实验室设施
  • 批准号:
    8014003
  • 财政年份:
    1980
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
Travel to Attend: Symposium on Parallel Computers and Parallel Mathematics, Munich, Germany, 03/14-16/77
前往参加:并行计算机和并行数学研讨会,德国慕尼黑,03/14-16/77
  • 批准号:
    7708217
  • 财政年份:
    1977
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
Instructional Scientific Equipment Program
教学科学设备计划
  • 批准号:
    7512997
  • 财政年份:
    1975
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant

相似海外基金

Newton RCUK-CONACYT - Mobile Solutions to the Mexican Kidnapping Epidemic: Beyond Elite Counter-Measures Towards Citizen-Led Innovation
Newton RCUK-CONACYT - 墨西哥绑架流行病的移动解决方案:超越精英对策,实现公民主导的创新
  • 批准号:
    ES/P005918/1
  • 财政年份:
    2016
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Research Grant
Newton RCUK-CONACYT MUSCAT - a new technology large-format camera for the Large Millimeter Telescope
Newton RCUK-CONACYT MUSCAT - 用于大型毫米望远镜的新技术大画幅相机
  • 批准号:
    ST/P002803/1
  • 财政年份:
    2016
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Research Grant
NewtonRCUK-CONACYT Co-constructing Security Provision in Mexico: A Methodology and Action Plan from Communities to the State
NewtonRCUK-CONACYT 共建墨西哥安全保障:从社区到国家的方法论和行动计划
  • 批准号:
    ES/P00850X/1
  • 财政年份:
    2016
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Research Grant
Newton RCUK-CONACYT Cost-efficient and radiation-tolerant pixel detectors for ionising radiation based on thin-film technology
Newton RCUK-CONACYT 基于薄膜技术的电离辐射经济高效且耐辐射的像素探测器
  • 批准号:
    ST/P003052/1
  • 财政年份:
    2016
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Research Grant
NSF/CONACyT: Gripping and Assembly of Micro Devices
NSF/CONACyT:微型设备的抓取和组装
  • 批准号:
    0965153
  • 财政年份:
    2009
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
NSF-CONACYT Collaborative Research: Search, Surveillance, and Pursuit by Autonomous Robots
NSF-CONACYT 合作研究:自主机器人的搜索、监视和追踪
  • 批准号:
    0725444
  • 财政年份:
    2007
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
NSF/CONACyT: Ultrasound Stimulated Reactions With Quantum Dots for Luminescent Biomarkers
NSF/CONACyT:超声波刺激量子点反应用于发光生物标记
  • 批准号:
    0523163
  • 财政年份:
    2006
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
NSF/CONACyT: Gripping and Assembly of Micro Devices
NSF/CONACyT:微型设备的抓取和组装
  • 批准号:
    0423907
  • 财政年份:
    2005
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
NSF CONACyT-GOALI: Arsenic Removal from Water with Iron-Tailored Activated Carbon: Fundamental Redox Characterization
NSF CONACyT-GOALI:使用铁定制活性炭去除水中砷:基本氧化还原表征
  • 批准号:
    0523196
  • 财政年份:
    2005
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Continuing Grant
NSF/CONACyT: Collaborative Research: US-Mexico Virtual Laboratory for Electronics Manufacturing
NSF/CONACyT:合作研究:美国-墨西哥电子制造虚拟实验室
  • 批准号:
    0324613
  • 财政年份:
    2004
  • 资助金额:
    $ 20.93万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了