Challenges and Opportunities for Data-Centric Peer Evaluation Tools for Teamwork
Challenges and Opportunities for Data-Centric Peer Evaluation Tools for Teamwork
复制标题
以数据为中心的团队合作同行评估工具的挑战和机遇
DOI：
10.1145/3479576
复制
发表时间：
2021
影响因子：
--
通讯作者：
Bailey, Brian P.
中科院分区：
文献类型：
--
作者：
Shi, Wenxuan Wendy;Jagannadharao, Akshaya;Lee, Jaewook;Bailey, Brian P.
同行评价对于评估团队至关重要，但容易受到偏见和其他因素的影响，从而破坏其可靠性。与此同时，团队通常用于执行工作的协作工具越来越能够记录活动，这些活动可以传递有关个人贡献和团队合作的有用信息。为了调查当前和潜在的使用活动痕迹在同行评价工具，我们采访了（N=11）和调查（N=242）的学生和采访（N=10）教师在一所大学。我们发现，几乎所有接受调查的学生在评估他们的队友时都会考虑对团队成果的具体贡献，但也报告说他们依赖记忆和主观经验来进行评估。教师希望客观的数据来源，以解决管理和解释同行评价的挑战，并已开始将活动轨迹从协作工具到他们的团队评估。然而，学生和教师都对使用活动跟踪表示担忧，因为团队使用的工具和平台生态系统多种多样，而且对贡献的背景了解有限。根据我们的研究结果，我们贡献的建议和一个以数据为中心的同行评估工具的投机性设计。
Peer evaluations are critical for assessing teams, but are susceptible to bias and other factors that undermine their reliability. At the same time, collaborative tools that teams commonly use to perform their work are increasingly capable of logging activity that can signal useful information about individual contributions and teamwork. To investigate current and potential uses for activity traces in peer evaluation tools, we interviewed (N=11) and surveyed (N=242) students and interviewed (N=10) instructors at a single university. We found that nearly all of the students surveyed considered specific contributions to the team outcomes when evaluating their teammates, but also reported relying on memory and subjective experiences to make the assessment. Instructors desired objective sources of data to address challenges with administering and interpreting peer evaluations, and have already begun incorporating activity traces from collaborative tools into their evaluations of teams. However, both students and instructors expressed concern about using activity traces due to the diverse ecosystem of tools and platforms used by teams and the limited view into the context of the contributions. Based on our findings, we contribute recommendations and a speculative design for a data-centric peer evaluation tool.
登录
查看更多内容
监控电子邮件以表明项目团队的绩效和相互吸引力
DOI：
--
发表时间：
2014
期刊：
Conference on Computer Supported Cooperative Work
影响因子：
--
作者：
Sean A Munson;Karina Kervin;L. Robert
通讯作者：
L. Robert
DOI：
--
发表时间：
2016
期刊：
International Conference on Global Software Engineering
影响因子：
--
作者：
A. Sarma;Xiaofan Chen;S. Kuttal;Laura A. Dabbish;Zhendong Wang
通讯作者：
Zhendong Wang
协作同行评估：小组成员评估的最佳实践
DOI：
--
发表时间：
2002
期刊：
影响因子：
--
作者：
Lisa E. Gueldenzoph;Gary L. May
通讯作者：
Gary L. May
可视化活动历史对同伴生产环境中态度和行为的影响
DOI：
--
发表时间：
2015
期刊：
Conference on Computer Supported Cooperative Work
影响因子：
--
作者：
Jennifer Marlow;Laura A. Dabbish
通讯作者：
Laura A. Dabbish
框架反馈：选择支持高质量同行评估的评审环境功能
DOI：
10.1145/2858036.2858195
发表时间：
2016
期刊：
Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Catherine M. Hicks;Vineet Pandey;C. Fraser;S. Klemmer
通讯作者：
S. Klemmer