Circular analysis in systems neuroscience: the dangers of double dipping.
Circular analysis in systems neuroscience: the dangers of double dipping.
复制标题
DOI：
10.1038/nn.2303
复制
发表时间：
2009-05
影响因子：
25
通讯作者：
Baker, Chris I.
中科院分区：
文献类型：
--
作者：
Kriegeskorte, Nikolaus;Simmons, W. Kyle;Bellgowan, Patrick S. F.;Baker, Chris I.
神经科学实验通常会产生大量数据，其中只有一小部分被详细分析并发表在出版物上。然而，在有噪声的测量中进行选择可能会使循环进行其他适当的分析并使结果无效。在这里，我们认为系统神经科学需要调整一些广泛的实践，以避免选择可能产生的循环。特别是，“二次浸渍”--使用相同的数据集进行选择和选择性分析--只要结果统计数据本身不独立于零假设下的选择标准，就会给出扭曲的描述性统计数据和无效的统计推断。为了证明这个问题，我们对已知不包含所讨论的实验效应的噪声数据进行了广泛使用的分析。虚假效应可能出现在单变量激活分析和多变量模式信息分析的背景下。我们建议了一项避免循环的政策。
A neuroscientific experiment typically generates a large amount of data, of which only a small fraction is analyzed in detail and presented in a publication. However, selection among noisy measurements can render circular an otherwise appropriate analysis and invalidate results. Here we argue that systems neuroscience needs to adjust some widespread practices in order to avoid the circularity that can arise from selection. In particular, “double dipping” – the use of the same data set for selection and selective analysis – will give distorted descriptive statistics and invalid statistical inference whenever the results statistics are not inherently independent of the selection criteria under the null hypothesis. To demonstrate the problem, we apply widely used analyses to noise data known not to contain the experimental effects in question. Spurious effects can appear in the context of both univariate activation analysis and multivariate pattern-information analysis. We suggest a policy for avoiding circularity.
登录
查看更多内容
影响因子：
5.7
作者：
Genovese, CR;Lazar, NA;Nichols, T
通讯作者：
Nichols, T
影响因子：
5.7
作者：
Benjamini, Yoav;Cai, T. Tony;Efron, Bradley
通讯作者：
Efron, Bradley
影响因子：
5.7
作者：
Strothert, SC;Anderson, J;Rottenberg, D
通讯作者：
Rottenberg, D
影响因子：
6.3
作者：
WORSLEY, KJ;EVANS, AC;NEELIN, P
通讯作者：
NEELIN, P
影响因子：
7.5
作者：
Mitchell, TM;Hutchinson, R;Newman, S
通讯作者：
Newman, S