How Far Are We? The Triumphs and Trials of Generative AI in Learning Software Engineering
How Far Are We? The Triumphs and Trials of Generative AI in Learning Software Engineering
复制标题
我们还有多远？
DOI：
10.1145/3597503.3639201
复制
发表时间：
2024
期刊：
影响因子：
--
通讯作者：
Sarma, Anita
中科院分区：
文献类型：
--
作者：
Choudhuri, Rudrajit;Liu, Dylan;Steinmacher, Igor;Gerosa, Marco;Sarma, Anita
随着工程师和学者在他们的工作中接受这项技术，会话生成性人工智能(Convo-genAI)正在给软件工程(SE)带来革命性的变化。然而，在理解这项技术的当前潜力和缺陷方面存在差距，特别是在支持学生执行SE任务方面。在这项工作中，我们通过一个被试之间的研究(N=22)，评估了ChatGPT，一个对话人工智能平台，在帮助学生完成SE任务方面的有效性。我们的研究没有发现参与者在使用ChatGPT时的工作效率或自我效能感与传统资源相比的统计差异，但我们发现沮丧程度显著增加。我们的研究还发现了5个明显的错误，这些错误源于违反人类-人工智能交互指南，导致参与者产生7种不同的(负面)后果。
Conversational Generative AI (convo-genAI) is revolutionizing Software Engineering (SE) as engineers and academics embrace this technology in their work. However, there is a gap in understanding the current potential and pitfalls of this technology, specifically in supporting students in SE tasks. In this work, we evaluate through a between-subjects study (N=22) the effectiveness of ChatGPT, a convo-genAI platform, in assisting students in SE tasks. Our study did not find statistical differences in participants' productivity or self-efficacy when using ChatGPT as compared to traditional resources, but we found significantly increased frustration levels. Our study also revealed 5 distinct faults arising from violations of Human-AI interaction guidelines, which led to 7 different (negative) consequences on participants.
登录
查看更多内容
DOI：
10.1145/3487065
发表时间：
2022-03
期刊：
ACM Transactions on Interactive Intelligent Systems (TiiS)
影响因子：
--
作者：
Roli Khanna;Jonathan Dodge;Andrew Anderson;Rupika Dikkala;Jed Irvine;Zeyad Shureih;Kin-Ho Lam;Caleb R. Matthews;Zhengxian Lin;Minsuk Kahng;Alan Fern;M. Burnett
通讯作者：
Roli Khanna;Jonathan Dodge;Andrew Anderson;Rupika Dikkala;Jed Irvine;Zeyad Shureih;Kin-Ho Lam;Caleb R. Matthews;Zhengxian Lin;Minsuk Kahng;Alan Fern;M. Burnett
DOI：
--
发表时间：
2016
期刊：
Interactions
影响因子：
--
作者：
Umer Farooq;J. Grudin
通讯作者：
J. Grudin
设计和评估用于教育儿童的教学对话代理
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
Silvia Tamayo;D. Pérez
通讯作者：
D. Pérez
通过析因调查尽早评估人机交互：人机交互指南研究
DOI：
--
发表时间：
2022
期刊：
ACM Trans. Comput. Hum. Interact.
影响因子：
--
作者：
Tianyi Li;Mihaela Vorvoreanu;Derek DeBellis;Saleema Amershi
通讯作者：
Saleema Amershi
聊天机器人：下一代计算机接口——回顾
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
MS Walgama;B. Hettige
通讯作者：
B. Hettige