How to Open Science: A Principle and Reproducibility Review of the Learning Analytics and Knowledge Conference
How to Open Science: A Principle and Reproducibility Review of the Learning Analytics and Knowledge Conference
复制标题
如何开放科学：学习分析和知识会议的原理和可重复性回顾
DOI：
10.1145/3576050.3576071
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Heffernan, Neil
中科院分区：
文献类型：
--
作者：
Haim, Aaron;Shaw, Stacy;Heffernan, Neil
在教育技术领域，学习分析在过去十年里越来越受欢迎。研究人员在彼此工作的基础上进行实验和开发软件，以创建更复杂的系统。与此同时，开放科学--它描述了一系列使研究更公开、更透明、更可重现的实践--近年来出现了爆炸性增长，导致研究人员可以使用更开放的数据、代码和材料。然而，在没有开放科学的先验知识的情况下，许多研究人员不会公开他们的数据集、代码和材料，而那些可用的数据往往很难复制，如果不是不可能的话。目前这项研究的目的是通过审查国际学习分析和知识会议以前的论文来密切关注我们的领域，并记录开放科学的采用率(例如，预注册、开放数据)，以及现有数据和代码的复制情况。具体地说，我们检查了133篇研究论文，给每篇论文15分钟的时间来确定开放的科学实践，并试图根据它们提供的规范复制结果。我们的结果显示，只有不到一半的研究采用了标准的开放科学原则，大约5%的人完全满足了一些定义的原则。此外，我们无法在给定的时间段内成功复制任何一篇论文。最后，我们就如何提高我们研究的重现性提出了建议。所有可公开获取的工作都可以在开放科学基金会的项目中找到1。
Within the field of education technology, learning analytics has increased in popularity over the past decade. Researchers conduct experiments and develop software, building on each other’s work to create more intricate systems. In parallel, open science — which describes a set of practices to make research more open, transparent, and reproducible — has exploded in recent years, resulting in more open data, code, and materials for researchers to use. However, without prior knowledge of open science, many researchers do not make their datasets, code, and materials openly available, and those that are available are often difficult, if not impossible, to reproduce. The purpose of the current study was to take a close look at our field by examining previous papers within the proceedings of the International Conference on Learning Analytics and Knowledge, and document the rate of open science adoption (e.g., preregistration, open data), as well as how well available data and code could be reproduced. Specifically, we examined 133 research papers, allowing ourselves 15 minutes for each paper to identify open science practices and attempt to reproduce the results according to their provided specifications. Our results showed that less than half of the research adopted standard open science principles, with approximately 5% fully meeting some of the defined principles. Further, we were unable to reproduce any of the papers successfully in the given time period. We conclude by providing recommendations on how to improve the reproducibility of our research as a field moving forward.All openly accessible work can be found in an Open Science Foundation project1.
登录
查看更多内容
石井，N.；A.W.M.辛普森；C.C.阿什利：科学。
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
通讯作者：
--
开源基础知识：定义、模型和问题
影响因子：
4.3
作者：
Johndan Johnson
通讯作者：
Johndan Johnson
开放数据科学
DOI：
10.1007/978-3-030-01768-2_3
发表时间：
2018
期刊：
LAK23: 13th International Learning Analytics and Knowledge Conference
影响因子：
--
作者：
Leo Lahti
通讯作者：
Leo Lahti
使用 2.0 工具的针对新教育环境的不断发展的学习管理系统
影响因子：
5.4
作者：
Miguel Ángel Conde González;F. García;M. Rodríguez;M. A. Forment;María José Casany Guerrero;Jordi Piguillem
通讯作者：
Jordi Piguillem
选择开源许可证
影响因子：
3.3
作者：
Arnoud Engelfriet
通讯作者：
Arnoud Engelfriet