Can AI serve as a substitute for human subjects in software engineering research?
Can AI serve as a substitute for human subjects in software engineering research?
复制标题
人工智能能否在软件工程研究中替代人类受试者？
DOI：
10.1007/s10515-023-00409-6
复制
发表时间：
2024
影响因子：
3.4
通讯作者：
Sarma, Anita
中科院分区：
文献类型：
--
作者：
Gerosa, Marco;Trinkenreich, Bianca;Steinmacher, Igor;Sarma, Anita
社会技术领域的研究，比如软件工程，从根本上需要人的视角。然而，传统的定性数据收集方法在参与者招募、规模和劳动强度方面存在困难。本文提出了一种新的方法，通过利用人工智能（AI）的能力，特别是像ChatGPT和多模态基础模型这样的大型语言模型（llm），在软件工程研究中进行定性数据收集。我们探索了人工智能生成的合成文本作为定性数据的替代来源的潜力，讨论了法学硕士如何在研究环境中复制人类的反应和行为。我们讨论了人工智能在访谈、焦点小组、调查、观察性研究和用户评估中模拟人类的应用。我们讨论开放的问题和研究机会，以实现这一愿景。在未来，人工智能和人类生成的数据共存的综合方法可能会产生最有效的结果。
Research within sociotechnical domains, such as software engineering, fundamentally requires the human perspective. Nevertheless, traditional qualitative data collection methods suffer from difficulties in participant recruitment, scaling, and labor intensity. This vision paper proposes a novel approach to qualitative data collection in software engineering research by harnessing the capabilities of artificial intelligence (AI), especially large language models (LLMs) like ChatGPT and multimodal foundation models. We explore the potential of AI-generated synthetic text as an alternative source of qualitative data, discussing how LLMs can replicate human responses and behaviors in research settings. We discuss AI applications in emulating humans in interviews, focus groups, surveys, observational studies, and user evaluations. We discuss open problems and research opportunities to implement this vision. In the future, an integrated approach where both AI and human-generated data coexist will likely yield the most effective outcomes.
登录
查看更多内容
DOI：
10.1109/icse48619.2023.00038
发表时间：
2023-01
期刊：
2023 IEEE/ACM 45th International Conference on Software Engineering (ICSE)
影响因子：
--
作者：
Bianca Trinkenreich;Klaas-Jan Stol;A. Sarma;D. Germán;M. Gerosa;Igor Steinmacher
通讯作者：
Bianca Trinkenreich;Klaas-Jan Stol;A. Sarma;D. Germán;M. Gerosa;Igor Steinmacher
DOI：
10.1109/icse43902.2021.00098
发表时间：
2021-01
期刊：
2021 IEEE/ACM 43rd International Conference on Software Engineering (ICSE)
影响因子：
--
作者：
M. Gerosa;I. Wiese;Bianca Trinkenreich;Georg J. P. Link;G. Robles;Christoph Treude;Igor Steinmacher;A. Sarma
通讯作者：
M. Gerosa;I. Wiese;Bianca Trinkenreich;Georg J. P. Link;G. Robles;Christoph Treude;Igor Steinmacher;A. Sarma
在安全架构设计的协作决策中整合人为因素
DOI：
--
发表时间：
2022
期刊：
International Conference on Automated Software Engineering
影响因子：
--
作者：
Jason Jaskolka;B. Hamid
通讯作者：
B. Hamid
从数据稀缺到数据丰富：使用 ChatGPT 在管理会计中制作综合调查数据
DOI：
10.2139/ssrn.4595896
发表时间：
2023
期刊：
SSRN Electronic Journal
影响因子：
--
作者：
Fabio Motoki;Januário Monteiro;Ricardo Malagueño;Victor Rodrigues
通讯作者：
Victor Rodrigues
自动角色生成（APG）：基本原理和演示
DOI：
--
发表时间：
2018
期刊：
Conference on Human Information Interaction and Retrieval
影响因子：
--
作者：
Soon;Joni O. Salminen;Haewoon Kwak;Jisun An;B. Jansen
通讯作者：
B. Jansen