SaTC: CORE: Small: Robust Speaker and Speech Recognition Under AI-Driven Physical and Digital Attacks

SaTC:核心:小型:人工智能驱动的物理和数字攻击下的鲁棒扬声器和语音识别

基本信息

  • 批准号:
    2310207
  • 负责人:
  • 金额:
    $ 60万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Continuing Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-10-01 至 2026-09-30
  • 项目状态:
    未结题

项目摘要

Recent advances in artificial intelligence (AI) technologies have driven the widespread popularity and acceptance of commercial voice assistants, transforming the way in which we interact with the digital ecosystem and physical devices. These voice assistants have diverse applications across many critical sectors, ranging from smart homes and healthcare to e-commerce and self-driving vehicles. However, this rapidly evolving technology has introduced new cybersecurity threats that could significantly undermine voice system security. For example, the criminal exploitation of AI technologies has led to the advent of audio deepfakes that can be used to circumvent speaker verification protocols in banking systems. This project addresses AI-driven attacks through a comprehensive exploration of audio attack strategies and the development of a defensive framework to strengthen recognition performance and counteract these attacks. The project's broader significance and importance are underpinned by its deep understanding of AI-driven voice attacks and the methodologies to deploy defenses against them, thereby enhancing the safety of voice-controlled systems across various sectors. The project also provides research training opportunities for underrepresented students, both undergraduate and graduate, as well as K-12 students through well-crafted curriculum design and engaging outreach activities.The goal of this project is to scrutinize the robustness of automatic speaker and speech recognition (ASSR) against AI-driven digital and physical voice attacks, and further develop a defensive framework for enhancing the resilience of voice signals and voice models. The research activities include: (i) characterizing physically-realizable attacks targeting speaker recognition and measuring the impact of stealthy attacks on speech recognition; (ii) designing robust learning-based defenses by shielding the voice signals from threats posed by voice synthesis techniques, and analyzing high-frequency voice components to reveal attack signals; and (iii) developing a robustness enhancement framework that incorporates vocal styles and facial expression features in a multi-modality speaker and speech representation scheme. The insights and technologies generated through this project significantly advance our understanding of voice assistant security, foster secure next-generation voice applications, and enable voice systems to fully leverage emerging sensing and learning technologies.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
人工智能(AI)技术的最新进展推动了商业语音助手的广泛普及和接受,改变了我们与数字生态系统和物理设备交互的方式。这些语音助手在许多关键领域都有不同的应用,从智能家居和医疗保健到电子商务和自动驾驶汽车。然而,这种快速发展的技术带来了新的网络安全威胁,可能会严重破坏语音系统的安全性。例如,对人工智能技术的犯罪利用导致了音频深度伪造的出现,这些音频深度伪造可用于规避银行系统中的说话人验证协议。该项目通过全面探索音频攻击策略和开发防御框架来解决AI驱动的攻击,以加强识别性能并抵御这些攻击。该项目更广泛的意义和重要性得益于其对人工智能驱动的语音攻击的深刻理解以及部署防御措施的方法,从而增强了各个部门语音控制系统的安全性。该项目还通过精心设计的课程设计和参与外展活动,为代表性不足的本科生和研究生以及K-12学生提供研究培训机会。该项目的目标是仔细检查自动说话人和语音识别(ASSR)对人工智能驱动的数字和物理语音攻击的鲁棒性,并进一步制定防御框架,以增强语音信号和语音模型的弹性。研究活动包括:(i)表征针对说话人识别的物理可实现攻击,并测量隐形攻击对语音识别的影响;(ii)通过屏蔽语音信号免受语音合成技术带来的威胁,并分析高频语音成分以揭示攻击信号,来设计基于学习的鲁棒防御;以及(iii)开发鲁棒性增强框架,其在多模态说话者和语音表示方案中结合了声音风格和面部表情特征。通过该项目产生的见解和技术大大提高了我们对语音助理安全的理解,促进了安全的下一代语音应用,并使语音系统能够充分利用新兴的传感和学习技术。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Qiben Yan其他文献

Effective detection of mobile malware behavior based on explainable deep neural network
  • DOI:
    https://doi.org/10.1016/j.neucom.2020.09.082
  • 发表时间:
  • 期刊:
  • 影响因子:
  • 作者:
    Anli Yan;ZhenxiangChen;Haibo Zhang;Lizhi Peng;Qiben Yan;Muhammad Umair Hassan;Chuan Zhao;Bo Yang
  • 通讯作者:
    Bo Yang
SpecView: Malware Spectrum Visualization Framework With Singular Spectrum Transformation
SpecView:具有奇异频谱转换的恶意软件频谱可视化框架
Security Enhanced Communications in Cognitive Networks
  • DOI:
  • 发表时间:
    2014-08
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Qiben Yan
  • 通讯作者:
    Qiben Yan
Osprey: A fast and accurate patch presence test framework for binaries
Osprey:快速准确的二进制补丁存在测试框架
  • DOI:
    10.1016/j.comcom.2021.03.011
  • 发表时间:
    2021-03
  • 期刊:
  • 影响因子:
    6
  • 作者:
    Peiyuan Sun;Qiben Yan;Haoyi Zhou(通讯);Jianxin Li
  • 通讯作者:
    Jianxin Li
A mobile malware detection method using behavior features in network traffic
一种利用网络流量行为特征的移动恶意软件检测方法
  • DOI:
    10.1016/j.jnca.2018.12.014
  • 发表时间:
    2019-05
  • 期刊:
  • 影响因子:
    8.7
  • 作者:
    Shanshan Wang;Zhenxiang Chen;Qiben Yan;Bo Yang;Lizhi Peng;Zhongtian Jia
  • 通讯作者:
    Zhongtian Jia

Qiben Yan的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Qiben Yan', 18)}}的其他基金

CPS: Medium: Collaborative Research: Robust Sensing and Learning for Autonomous Driving Against Perceptual Illusion
CPS:中:协作研究:针对自动驾驶对抗知觉错觉的鲁棒感知和学习
  • 批准号:
    2235231
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NeTS: Small: Collaborative Research: Cooperative Interference-Embracing Communication in Multi-Hop Wireless Networks
NeTS:小型:协作研究:多跳无线网络中的协作抗干扰通信
  • 批准号:
    1949753
  • 财政年份:
    2019
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: URadio: Towards Secure Smart Home IoT Communication Using Hybrid Ultrasonic-RF Radio
SaTC:CORE:小型:URadio:使用混合超声波射频无线电实现安全的智能家居物联网通信
  • 批准号:
    1950171
  • 财政年份:
    2019
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: URadio: Towards Secure Smart Home IoT Communication Using Hybrid Ultrasonic-RF Radio
SaTC:CORE:小型:URadio:使用混合超声波射频无线电实现安全的智能家居物联网通信
  • 批准号:
    1817029
  • 财政年份:
    2018
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NeTS: Small: Collaborative Research: Cooperative Interference-Embracing Communication in Multi-Hop Wireless Networks
NeTS:小型:协作研究:多跳无线网络中的协作抗干扰通信
  • 批准号:
    1717898
  • 财政年份:
    2017
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
CRII: SaTC: Towards Non-Intrusive Detection of Resilient Mobile Malware and Botnet using Application Traffic Measurement
CRII:SaTC:使用应用程序流量测量对弹性移动恶意软件和僵尸网络进行非侵入式检测
  • 批准号:
    1566388
  • 财政年份:
    2016
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant

相似国自然基金

胆固醇羟化酶CH25H非酶活依赖性促进乙型肝炎病毒蛋白Core及Pre-core降解的分子机制研究
  • 批准号:
    82371765
  • 批准年份:
    2023
  • 资助金额:
    50 万元
  • 项目类别:
    面上项目
锕系元素5f-in-core的GTH赝势和基组的开发
  • 批准号:
    22303037
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于合成致死策略搭建Core-matched前药共组装体克服肿瘤耐药的机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    52 万元
  • 项目类别:
鼠伤寒沙门氏菌LPS core经由CD209/SphK1促进树突状细胞迁移加重炎症性肠病的机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
肌营养不良蛋白聚糖Core M3型甘露糖肽的精确制备及功能探索
  • 批准号:
    92053110
  • 批准年份:
    2020
  • 资助金额:
    70.0 万元
  • 项目类别:
    重大研究计划
Core-1-O型聚糖黏蛋白缺陷诱导胃炎发生并介导慢性胃炎向胃癌转化的分子机制研究
  • 批准号:
    81902805
  • 批准年份:
    2019
  • 资助金额:
    20.5 万元
  • 项目类别:
    青年科学基金项目
原始地球增生晚期的Core-merging大碰撞事件:地核增生、核幔平衡与核幔边界结构的新认识
  • 批准号:
    41973063
  • 批准年份:
    2019
  • 资助金额:
    65.0 万元
  • 项目类别:
    面上项目
CORDEX-CORE区域气候模拟与预估研讨会
  • 批准号:
    41981240365
  • 批准年份:
    2019
  • 资助金额:
    1.5 万元
  • 项目类别:
    国际(地区)合作与交流项目
RBM38通过协助Pol-ε结合、招募core调控HBV复制
  • 批准号:
    31900138
  • 批准年份:
    2019
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目

相似海外基金

SaTC: CORE: Small: An evaluation framework and methodology to streamline Hardware Performance Counters as the next-generation malware detection system
SaTC:核心:小型:简化硬件性能计数器作为下一代恶意软件检测系统的评估框架和方法
  • 批准号:
    2327427
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
Collaborative Research: NSF-BSF: SaTC: CORE: Small: Detecting malware with machine learning models efficiently and reliably
协作研究:NSF-BSF:SaTC:核心:小型:利用机器学习模型高效可靠地检测恶意软件
  • 批准号:
    2338301
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
Collaborative Research: NSF-BSF: SaTC: CORE: Small: Detecting malware with machine learning models efficiently and reliably
协作研究:NSF-BSF:SaTC:核心:小型:利用机器学习模型高效可靠地检测恶意软件
  • 批准号:
    2338302
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
SaTC: CORE: Small: NSF-DST: Understanding Network Structure and Communication for Supporting Information Authenticity
SaTC:核心:小型:NSF-DST:了解支持信息真实性的网络结构和通信
  • 批准号:
    2343387
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NSF-NSERC: SaTC: CORE: Small: Managing Risks of AI-generated Code in the Software Supply Chain
NSF-NSERC:SaTC:核心:小型:管理软件供应链中人工智能生成代码的风险
  • 批准号:
    2341206
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Towards Secure and Trustworthy Tree Models
协作研究:SaTC:核心:小型:迈向安全可信的树模型
  • 批准号:
    2413046
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Study, Detection and Containment of Influence Campaigns
SaTC:核心:小型:影响力活动的研究、检测和遏制
  • 批准号:
    2321649
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Socio-Technical Approaches for Securing Cyber-Physical Systems from False Claim Attacks
SaTC:核心:小型:保护网络物理系统免受虚假声明攻击的社会技术方法
  • 批准号:
    2310470
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Investigation of Naming Space Hijacking Threat and Its Defense
协作研究:SaTC:核心:小型:命名空间劫持威胁及其防御的调查
  • 批准号:
    2317830
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
Collaborative Research: SaTC: CORE: Small: Towards a Privacy-Preserving Framework for Research on Private, Encrypted Social Networks
协作研究:SaTC:核心:小型:针对私有加密社交网络研究的隐私保护框架
  • 批准号:
    2318843
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了