Control strategies for articulatory speech synthesis for natural user interfaces

自然用户界面的发音语音合成控制策略

基本信息

  • 批准号:
    506576-2017
  • 负责人:
  • 金额:
    $ 14.45万
  • 依托单位:
  • 依托单位国家:
    加拿大
  • 项目类别:
    Strategic Projects - Group
  • 财政年份:
    2017
  • 资助国家:
    加拿大
  • 起止时间:
    2017-01-01 至 2018-12-31
  • 项目状态:
    已结题

项目摘要

We propose to advance the state of the art of articulatory speech synthesis research by building and evaluating neural activation-based models to drive a parameterized, 3D biomechanical-articulatory speech synthesizer. Our industry partner, CTF (http://www.ctfmeg.com) provides expertise in magnetoencephalography (MEG) and multimodal sensing of the brain and neural pathways, contributing to developing novel low degree-of-freedom (DoF) speech control strategies. The proposed research targets ICT - Human Interaction with Digital Information, as we focus on fundamental aspects of speech-based natural user interfaces. We plan to work backwards from our biomechanically driven speech synthesizer to determine control strategies that take advantage of the coupling afforded by biomechanics to reduce the DoF needed for producing natural sounding speech. Creating low DoF control representations is an important step for creating talking heads that move and sound natural for avatar-type interfaces needed for natural user interfaces. We have three central goals for this project: 1) improving our existing biomechanics-to-speech model, 2) developing neural control topologies, and 3) building control models for the coupled biomechanical-neural system. These goals will converge to synthesize a neurally controlled talking head for use in natural user interface evaluations. As a capstone demonstration, we will explore having a person speak in real-time using the neurally controlled talking head while in the MEG. Our team of established researchers span the fields of expertise for this project. Drs. Fels, Stavness and Gick have published together on the biomechanics of the oral, pharyngeal and laryngeal complex and articulatory control of speech. CTF engineers have over a decade of experience advancing the state of the art of MEG for sensing neural activation. Our team's world-class modeling, simulation, HCI, speech synthesis control and MEG expertise provides a leading-edge opportunity for HQP to learn techniques for 3D physics-based simulation, advanced speech control, machine learning and neural sensing.
我们建议通过构建和评估基于神经激活的模型来驱动参数化的3D生物力学发音语音合成器,从而推进发音语音合成研究的发展水平。我们的行业合作伙伴CTF(http:www.ctfmeg.com)提供脑磁图(MEG)和大脑和神经通路多模态传感方面的专业知识,有助于开发新型低自由度(DoF)语音控制策略。拟议的研究目标ICT -人类与数字信息的交互,因为我们专注于基于语音的自然用户界面的基本方面。我们计划从我们的生物力学驱动的语音合成器向后工作,以确定控制策略,利用生物力学提供的耦合,以减少产生自然发声语音所需的自由度。创建低DoF控制表示是创建用于自然用户界面所需的化身类型界面的移动和声音自然的说话头部的重要步骤。这个项目有三个主要目标:1)改进我们现有的生物力学-语音模型,2)开发神经控制拓扑结构,3)为耦合的生物力学-神经系统构建控制模型。这些目标将汇聚到合成一个神经控制的说话头,用于自然用户界面评估。作为一个顶点演示,我们将探索让一个人在MEG中使用神经控制的说话头实时说话。我们的研究团队涵盖了该项目的专业领域。Fels,Stavness和Gick博士共同发表了关于口腔,咽和喉复合体的生物力学以及语音的发音控制的文章。CTF工程师拥有十多年的经验,推动了MEG用于感知神经激活的最新技术。我们的团队拥有世界一流的建模、仿真、HCI、语音合成控制和MEG专业知识,为HQP学习基于3D物理的仿真、高级语音控制、机器学习和神经传感技术提供了领先的机会。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Fels, Sidney其他文献

Dysfunctional paraspinal muscles in adult spinal deformity patients lead to increased spinal loading.
  • DOI:
    10.1007/s00586-022-07292-x
  • 发表时间:
    2022-09
  • 期刊:
  • 影响因子:
    2.8
  • 作者:
    Malakoutian, Masoud;Noonan, Alex M.;Dehghan-Hamani, Iraj;Yamamoto, Shun;Fels, Sidney;Wilson, David;Doroudi, Majid;Schutz, Peter;Lewis, Stephen;Ailon, Tamir;Street, John;Brown, Stephen H. M.;Oxland, Thomas R.
  • 通讯作者:
    Oxland, Thomas R.
Characterizing Motor Control of Mastication With Soft Actor-Critic
  • DOI:
    10.3389/fnhum.2020.00188
  • 发表时间:
    2020-05-26
  • 期刊:
  • 影响因子:
    2.9
  • 作者:
    Abdi, Amir H.;Sagl, Benedikt;Fels, Sidney
  • 通讯作者:
    Fels, Sidney
A framework for evaluating usability of clinical monitoring technology.
Optimizing Multiple Object Tracking and Best View Video Synthesis
  • DOI:
    10.1109/tmm.2008.2001379
  • 发表时间:
    2008-10-01
  • 期刊:
  • 影响因子:
    7.3
  • 作者:
    Jiang, Hao;Fels, Sidney;Little, James J.
  • 通讯作者:
    Little, James J.
Extracting moving boundaries from dynamic, multislice CT images for fluid simulation

Fels, Sidney的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Fels, Sidney', 18)}}的其他基金

Creating and Evaluating New Media Interfaces for Expression
创建和评估新的表达媒体界面
  • 批准号:
    RGPIN-2020-07054
  • 财政年份:
    2022
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Discovery Grants Program - Individual
Creating and Evaluating New Media Interfaces for Expression
创建和评估新的表达媒体界面
  • 批准号:
    RGPIN-2020-07054
  • 财政年份:
    2021
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Discovery Grants Program - Individual
Creating and Evaluating New Media Interfaces for Expression
创建和评估新的表达媒体界面
  • 批准号:
    RGPIN-2020-07054
  • 财政年份:
    2020
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Discovery Grants Program - Individual
Creation and Evaluation of Novel Media Experiences
新颖媒体体验的创造和评估
  • 批准号:
    RGPIN-2015-04971
  • 财政年份:
    2019
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Discovery Grants Program - Individual
An investigation of a ViDeX interface in onenote to provide video experience for learning
Onenote 中 ViDeX 界面的研究,为学习提供视频体验
  • 批准号:
    508852-2017
  • 财政年份:
    2019
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Collaborative Research and Development Grants
Creation and Evaluation of Novel Media Experiences
新颖媒体体验的创造和评估
  • 批准号:
    RGPIN-2015-04971
  • 财政年份:
    2018
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Discovery Grants Program - Individual
An investigation of a ViDeX interface in onenote to provide video experience for learning
Onenote 中 ViDeX 界面的研究,为学习提供视频体验
  • 批准号:
    508852-2017
  • 财政年份:
    2018
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Collaborative Research and Development Grants
Control strategies for articulatory speech synthesis for natural user interfaces
自然用户界面的发音语音合成控制策略
  • 批准号:
    506576-2017
  • 财政年份:
    2018
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Strategic Projects - Group
Creation and Evaluation of Novel Media Experiences
新颖媒体体验的创造和评估
  • 批准号:
    RGPIN-2015-04971
  • 财政年份:
    2017
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Discovery Grants Program - Individual
Optical motion tracking system for Human Modelling and Virtual Reality
用于人体建模和虚拟现实的光学运动跟踪系统
  • 批准号:
    RTI-2018-00731
  • 财政年份:
    2017
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Research Tools and Instruments

相似国自然基金

Scalable Learning and Optimization: High-dimensional Models and Online Decision-Making Strategies for Big Data Analysis
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    万元
  • 项目类别:
    合作创新研究团队
5'-tRF-GlyGCC通过SRSF1调控RNA可变剪切促三阴性乳腺癌作用机制及干预策略
  • 批准号:
    82372743
  • 批准年份:
    2023
  • 资助金额:
    49.00 万元
  • 项目类别:
    面上项目
放疗通过激活GSDMD诱发细胞焦亡促进肿瘤再增殖的机制研究及干预策略探讨
  • 批准号:
    82373299
  • 批准年份:
    2023
  • 资助金额:
    49.00 万元
  • 项目类别:
    面上项目
面向人工智能生成内容的风险识别与治理策略研究
  • 批准号:
    72304290
  • 批准年份:
    2023
  • 资助金额:
    30.00 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

Expanding articulatory information from ultrasound imaging of speech using MRI-based image simulations and audio measurements
使用基于 MRI 的图像模拟和音频测量来扩展语音超声成像的发音信息
  • 批准号:
    10537976
  • 财政年份:
    2022
  • 资助金额:
    $ 14.45万
  • 项目类别:
RI: Small: Speaker-Specific Articulatory Strategies
RI:小:特定于说话者的发音策略
  • 批准号:
    1908865
  • 财政年份:
    2019
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Continuing Grant
Control strategies for articulatory speech synthesis for natural user interfaces
自然用户界面的发音语音合成控制策略
  • 批准号:
    506576-2017
  • 财政年份:
    2018
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Strategic Projects - Group
Articulatory strategies and neural correlates of compensation to acoustic feedback perturbation
声反馈扰动补偿的发音策略和神经相关性
  • 批准号:
    443975-2013
  • 财政年份:
    2015
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Postgraduate Scholarships - Doctoral
Articulatory strategies and neural correlates of compensation to acoustic feedback perturbation
声反馈扰动补偿的发音策略和神经相关性
  • 批准号:
    443975-2013
  • 财政年份:
    2014
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Postgraduate Scholarships - Doctoral
Articulatory strategies and neural correlates of compensation to acoustic feedback perturbation
声反馈扰动补偿的发音策略和神经相关性
  • 批准号:
    443975-2013
  • 财政年份:
    2013
  • 资助金额:
    $ 14.45万
  • 项目类别:
    Postgraduate Scholarships - Doctoral
Speech Prosody and Articulatory Dynamics in Spoken Language
口语中的语音韵律和发音动态
  • 批准号:
    8445225
  • 财政年份:
    1997
  • 资助金额:
    $ 14.45万
  • 项目类别:
Speech Prosody and Articulatory Dynamics in Spoken Language
口语中的语音韵律和发音动态
  • 批准号:
    8643200
  • 财政年份:
    1997
  • 资助金额:
    $ 14.45万
  • 项目类别:
Speech Prosody and Articulatory Dynamics in Spoken Language
口语中的语音韵律和发音动态
  • 批准号:
    8282659
  • 财政年份:
    1997
  • 资助金额:
    $ 14.45万
  • 项目类别:
Speech Prosody and Articulatory Dynamics in Spoken Language
口语中的语音韵律和发音动态
  • 批准号:
    8828663
  • 财政年份:
    1997
  • 资助金额:
    $ 14.45万
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了