SHF: Small: Automated Unit Test Generation using Large Language Models

SHF:小型:使用大型语言模型自动生成单元测试

基本信息

  • 批准号:
    2307742
  • 负责人:
  • 金额:
    $ 60万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-07-01 至 2026-06-30
  • 项目状态:
    未结题

项目摘要

Large Language Models (LLMs) are systems that rely on machine learning techniques to solve queries that are stated using natural language. To interact with an LLM, a user provides a textual description, commonly referred to as a "prompt", of the problem to be solved. In response to receiving a prompt, an LLM generates one or more textual results that represent solutions to the problem. LLMs have recently become very popular for applications such as translation and chatbots. Furthermore, LLMs are starting to be adopted for applications in software development such as automatic code completion in Integrated Development Environments used by programmers. This project explores the use of LLMs for automatically testing software. To this end, tests are generated by providing LLMs with prompts containing code fragments of the software under test and artifacts associated with the software such as documentation and usage examples. The project will result in improved testing of software, thereby improving its quality. Moreover, the project will unburden developers from the chore of writing tests manually, thereby increasing their productivity. The developed automatic test generation techniques based on Large Language Models (LLMs) will feature a feedback-directed, iterative approach. In each iteration, an LLM is given a prompt containing the signature of a function under test, along with usage examples, test framework code, and results obtained from previously generated tests. The resulting completions consist of candidate tests, which are checked for syntactic validity and executed to check if they pass or fail. Analysis of the execution behavior of failing tests will direct the construction of refined prompts. The project will target both dynamically typed and statically typed programming languages. The work will be evaluated by comparing the generated test suites against those produced by state-of-the-art test generation tools. All developed test generation tools will be made available as open-source software for others to use and build on, and results will be disseminated via publications. Societal benefits will follow from improvements in software quality enabled by the adoption of the developed techniques.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
大型语言模型(LLM)是依赖于机器学习技术来解决使用自然语言陈述的查询的系统。为了与LLM交互,用户提供待解决问题的文本描述,通常称为“提示”。响应于接收到提示,LLM生成表示问题的解决方案的一个或多个文本结果。LLM最近在翻译和聊天机器人等应用程序中非常受欢迎。此外,LLM开始被用于软件开发中的应用程序,例如程序员使用的集成开发环境中的自动代码完成。这个项目探讨了使用LLM自动测试软件。为此,通过向LLM提供包含被测软件的代码片段和与软件相关的工件(如文档和使用示例)的提示来生成测试。该项目将改进软件测试,从而提高软件质量。此外,该项目将减轻开发人员手动编写测试的负担,从而提高他们的生产力。基于大型语言模型(LLM)开发的自动测试生成技术将采用反馈导向的迭代方法。在每次迭代中,LLM都会得到一个提示,其中包含被测函数的签名,沿着使用示例,测试框架代码和从先前生成的测试中获得的结果。最终的完成由候选测试组成,这些测试被检查语法有效性,并被执行以检查它们是通过还是失败。对失败测试的执行行为的分析将指导精细提示的构造。该项目将针对动态类型和静态类型的编程语言。将通过将生成的测试套件与最先进的测试生成工具生成的测试套件进行比较来评估这项工作。所有开发的测试生成工具都将作为开放源码软件提供给其他人使用和借鉴,结果将通过出版物传播。通过采用所开发的技术,软件质量的提高将带来社会效益。该奖项反映了NSF的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(1)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation
  • DOI:
    10.1109/tse.2023.3334955
  • 发表时间:
    2023-02
  • 期刊:
  • 影响因子:
    7.4
  • 作者:
    Max Schäfer;Sarah Nadi;A. Eghbali;F. Tip
  • 通讯作者:
    Max Schäfer;Sarah Nadi;A. Eghbali;F. Tip
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Frank Tip其他文献

LLMorpheus: Mutation Testing using Large Language Models
LLMorpheus:使用大型语言模型进行突变测试
  • DOI:
    10.48550/arxiv.2404.09952
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Frank Tip;Jonathan Bell;Max Schäfer
  • 通讯作者:
    Max Schäfer

Frank Tip的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Frank Tip', 18)}}的其他基金

SaTC: CORE: Medium: Securing WebAssembly using Static Analysis and Binary Instrumentation
SaTC:核心:中:使用静态分析和二进制工具保护 WebAssembly
  • 批准号:
    2329540
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
SHF: Small: Testing and Profiling Asynchronous Software
SHF:小型:测试和分析异步软件
  • 批准号:
    1907727
  • 财政年份:
    2019
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NSF Student Travel Grant for 2018 European Conference on Object-Oriented Programming/International Symposium on Software Testing and Analysis (ECOOP/ISSTA 2018)
NSF 学生旅费资助 2018 年欧洲面向对象编程会议/软件测试与分析国际研讨会 (ECOOP/ISSTA 2018)
  • 批准号:
    1745926
  • 财政年份:
    2017
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: Automated Detection and Repair of Errors in Event-Driven Applications
SHF:小型:自动检测和修复事件驱动应用程序中的错误
  • 批准号:
    1715153
  • 财政年份:
    2017
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

SHF: Small: Modular Automated Verification of Concurrent Data Structures
SHF:小型:并发数据结构的模块化自动验证
  • 批准号:
    2304758
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: Automated Verification and Synthesis of Input Generators in Property-Based Testing Frameworks
SHF:小型:基于属性的测试框架中输入生成器的自动验证和合成
  • 批准号:
    2321680
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: Toward Fully Automated Formal Software Verification
SHF:小型:迈向全自动形式软件验证
  • 批准号:
    2210243
  • 财政年份:
    2022
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: Synergy between Automated Reasoning and Interactive Theorem Proving
SHF:小:自动推理和交互式定理证明之间的协同作用
  • 批准号:
    2229099
  • 财政年份:
    2022
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF : Small: Certified Automated Reasoning with BDDs (CARB)
SHF:小型:经过 BDD 认证的自动推理 (CARB)
  • 批准号:
    2108521
  • 财政年份:
    2021
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: Automated Quantitative Assessment of Testing Difficulty
合作研究:SHF:小型:测试难度自动定量评估
  • 批准号:
    2008660
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: Automated Quantitative Assessment of Testing Difficulty
合作研究:SHF:小型:测试难度自动定量评估
  • 批准号:
    2008640
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: An Automated Full-Lifecycle Approach for Improving the Development and Use of Static Analysis
合作研究:SHF:小型:改进静态分析开发和使用的自动化全生命周期方法
  • 批准号:
    2008905
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: An Automated Full-Lifecycle Approach for Improving the Development and Use of Static Analysis
合作研究:SHF:小型:改进静态分析开发和使用的自动化全生命周期方法
  • 批准号:
    2007314
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: SMALL: Automated Discovery of Cross-Language Program Behavior Inconsistency
SHF:SMALL:跨语言程序行为不一致的自动发现
  • 批准号:
    2006947
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了