Is There Evidence of P-Hacking in Imaging Research?
Is There Evidence of P-Hacking in Imaging Research?
复制标题
成像研究中有p黑客的证据吗？
DOI：
10.1177/08465371221139418
复制
发表时间：
2023-08
期刊：
影响因子：
--
通讯作者：
中科院分区：
文献类型：
--
作者：
P-hacking，即进行选择性分析直到结果变得重要的倾向，在许多科学学科中都很普遍。本研究旨在评估p-hacking在成像研究中是否存在。协议、数据和代码可在这里获得https://osf.io/xz9ku/?view_only=a9f7c2d841684cb7a3616f567db273fa。我们检索了1972年至2021年的影像期刊Ovid MEDLINE。使用Python脚本进行文本挖掘，收集元数据：期刊、出版年份、标题、摘要和摘要的p值。每个摘要随机抽取一个p值。我们使用p曲线评估p-hacking的证据，通过评估p值的浓度刚好低于0.05。我们进行了单侧二项检验（α = 0.05显著性水平），以评估是否有更多的p值落在上范围(例如，。（045 < P < .05）较低范围(如：04 < p < .045)。为了评估每个摘要的单个p值随机抽样所带来的结果变化，我们重复了1000次随机抽样过程，并将样本中的结果汇总在一起。研究人员进行了分析（以10年为周期），以确定p-黑客行为是否随着时间的推移而演变。我们检索了136种期刊，确定了967,981篇摘要。文本挖掘识别出293,687个p值，其中4105个随机抽样p值被纳入p黑客分析。被纳入分析的期刊和摘要数量占总数的比例分别为108/136（80%）和4105/967,981（0.4%）。p值并不集中在0.05以下；事实上，有更多的p值落在较低的范围内(例如，。04 < P < .045)比刚好低于。05(例如，……045 < P < 0.05)，表明缺乏P -hacking的证据。时间趋势分析并没有在5个10年期间发现p-黑客行为。自1972年以来，我们没有在100多份影像学期刊上发表的摘要中发现p-hacking的证据。这些分析不能检测到所有形式的p-hacking，其他形式的偏倚可能存在于成像研究中，如发表偏倚和选择性结果报告。在“图像研究”中，存在着对数据的操纵（“数据挖掘”）。美国科学院医学中心，1972年至2021年。文本文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件文件Une valeur de P a samatest . samchantilron . samatement . samatement . dans . chaque rsamsum<e:1>。Nous avons recherchere des dondonsamices probantes de manipulation des donsamices au moyen d 'une courbe de P, samacry la concentration des valeurers de P tout just infacrieures[0,05]。Nous avons menuest检验二项单因素的单因素与单因素的差异（c 'est -à-dire, 0.045 < P < 0.05）与单因素的差异（0,04 < P < 0.045）。将所有的<s:1> <s:1> <s:1> <s:1> <s:1>和<s:1> <s:1> <s:1>和/或所有的<s:1> <s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的<s:1>和/或所有的。一个分析疾病结果(股息ee par时期de 10 ans)倒看到si les检疫de操纵这些数据avaient上在临时工。巴黎研究中心有136个期刊，编号967 981个。从文本中提取并确定了293 687个价值点，共计4105个价值点，其中包括对这些价值点的分析和操纵。2005年10月1日，P - n - n - n - n - n - n - n - n - n - n - n - n - n - n - n - n - n - n - n在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，在不存在的情况下，不存在操纵的情况。在1999年的第一次会议上，有一份文件确定了对成年成年男子和成年成年男子的操纵，并确定了对成年成年男子和成年成年男子的操纵，并确定了90万名成年成年男子和成年成年男子的操纵。我们分析了50年来136种影像学期刊上发表的90多万篇摘要中的29万多篇p值，结果表明，在影像学研究中几乎没有p黑客的证据。
P-hacking, the tendency to run selective analyses until they become significant, is prevalent in many scientific disciplines. This study aims to assess if p-hacking exists in imaging research. Protocol, data, and code available here https://osf.io/xz9ku/?view_only=a9f7c2d841684cb7a3616f567db273fa. We searched imaging journals Ovid MEDLINE from 1972 to 2021. Text mining using Python script was used to collect metadata: journal, publication year, title, abstract, and P-values from abstracts. One P-value was randomly sampled per abstract. We assessed for evidence of p-hacking using a p-curve, by evaluating for a concentration of P-values just below .05. We conducted a one-tailed binomial test (α = .05 level of significance) to assess whether there were more P-values falling in the upper range (e.g., .045 < P < .05) than in the lower range (e.g., .04 < P < .045). To assess variation in results introduced by our random sampling of a single P-value per abstract, we repeated the random sampling process 1000 times and pooled results across the samples. Analysis was done (divided into 10-year periods) to determine if p-hacking practices evolved over time. Our search of 136 journals identified 967,981 abstracts. Text mining identified 293,687 P-values, and a total of 4105 randomly sampled P-values were included in the p-hacking analysis. The number of journals and abstracts that were included in the analysis as a fraction and percentage of the total number was, respectively, 108/136 (80%) and 4105/967,981 (.4%). P-values did not concentrate just under .05; in fact, there were more P-values falling in the lower range (e.g., .04 < P < .045) than falling just below .05 (e.g., .045 < P < .05), indicating lack of evidence for p-hacking. Time trend analysis did not identify p-hacking in any of the five 10-year periods. We did not identify evidence of p-hacking in abstracts published in over 100 imaging journals since 1972. These analyses cannot detect all forms of p-hacking, and other forms of bias may exist in imaging research such as publication bias and selective outcome reporting. Cette étude vise à évaluer si une manipulation des données («data dredging») existe dans la recherche sur l’imagerie. Nous avons mené des recherches dans les journaux d’imagerie de la base de données OVID MEDLINE entre 1972 et 2021. La fouille de textes au moyen d’un script Python a été utilisée pour collecter des métadonnées : journal, année de publication, titre, résumé et valeurs de P ont été extraits des résumés. Une valeur de P a été échantillonnée aléatoirement dans chaque résumé. Nous avons recherché des données probantes de manipulation des données au moyen d’une courbe de P, évaluant la concentration des valeurs de P tout juste inférieures à 0,05. Nous avons mené un test binomial unilatéral pour évaluer s’il y avait davantage de valeurs de P entrant dans la plage supérieure (c’est-à-dire, 0,045 < P < 0,05) que dans la plage inférieure (0,04 < P < 0,045). Pour évaluer la variation des résultats introduite par notre échantillon aléatoire de valeur de P unique pour chaque résumé, nous avons répété le processus d’ échantillonnage 1 000 fois et avons regroupé les résultats entre tous les échantillons. Une analyse a été faite (divis ée par périodes de 10 ans) pour voir si les pratiques de manipulation des données avaient évolué dans le temps. Notre recherche dans 136 journaux a identifié 967 981 résumés. L’extraction de texte a identifiée 293 687 valeurs de P et un total de 4 105 valeurs échantillonnées aléatoirement ont été incluses dans l’analyse de manipulation des données. Les valeurs de P n’ étaient pas simplement concentrées juste en dessous de 0,05; en fait, il y avait davantage de valeurs de P entrant dans la plage inférieure (c’est-à-dire, 0,04 < P < 0,045) que juste en dessous de 0,05 (c’est-à-dire, 0,045 < P < 0,05), indiquant une absence de preuve de manipulation des données. La tendance au fil du temps n’a identifié de manipulation des données dans aucune des cinq périodes de 10 ans. Nous n’avons pas identifié de signes de manipulation des données parmi plus de 900 000 résumés publiés dans 136 journaux d’imagerie depuis 1972. Our analysis of over 290,000 P-values from over 900,000 abstracts published in 136 imaging journals over a 50-year period suggests that there is little evidence for p-hacking in imaging research.
登录
查看更多内容
影响因子：
22.4
作者：
ROSENTHAL, R
通讯作者：
ROSENTHAL, R
DOI：
10.1073/pnas.1814092116
发表时间：
2019-01-22
影响因子：
11.1
作者：
Wilson, Daniel J.
通讯作者：
Wilson, Daniel J.
影响因子：
8.2
作者：
Simmons, Joseph P.;Nelson, Leif D.;Simonsohn, Uri
通讯作者：
Simonsohn, Uri
影响因子：
120.7
作者：
Chavalarias, David;Wallach, Joshua David;Ioannidis, John P. A.
通讯作者：
Ioannidis, John P. A.
DOI：
10.1177/08465371211006420
发表时间：
2022-02-01
影响因子：
3.1
作者：
Hallgrimson, Zachary;Fabiano, Nicholas;McInnes, Matthew D. F.
通讯作者：
McInnes, Matthew D. F.