Random effects structure for confirmatory hypothesis testing: Keep it maximal.
Random effects structure for confirmatory hypothesis testing: Keep it maximal.
复制标题
DOI：
10.1016/j.jml.2012.11.001
复制
发表时间：
2013-04
影响因子：
4.3
通讯作者：
Tily, Harry J.
中科院分区：
文献类型：
--
作者：
Barr, Dale J.;Levy, Roger;Scheepers, Christoph;Tily, Harry J.
线性混合效应模型（LMEMs）在心理语言学及相关领域的应用日益突出。然而，许多研究人员似乎没有意识到随机效应结构是如何影响分析的普遍性的。在这里，我们认为使用LMEMs进行验证性假设检验的研究人员应该最低限度地遵守已经存在了几十年的标准。通过理论论证和蒙特卡罗仿真，我们证明了当LMEMs包含设计证明的最大随机效应结构时，LMEMs的泛化效果最好。包括数据驱动的随机效应结构在内的LMEMs的泛化性能很大程度上取决于建模标准和样本量，当使用保守标准时，在中等大小的样本上产生合理的结果，但与最大模型相比几乎没有优势。最后，在受试者和/或项目对实验操作的敏感性不同的人群中，用于受试者内和/或项目内数据的仅随机截距LMEMs总是比单独的F1和F2测试更差，在许多情况下，甚至比单独的F1测试更差。最大LMEMs应该成为心理语言学及其他领域验证性假设检验的“黄金标准”。
Linear mixed-effects models (LMEMs) have become increasingly prominent in psycholinguistics and related areas. However, many researchers do not seem to appreciate how random effects structures affect the generalizability of an analysis. Here, we argue that researchers using LMEMs for confirmatory hypothesis testing should minimally adhere to the standards that have been in place for many decades. Through theoretical arguments and Monte Carlo simulation, we show that LMEMs generalize best when they include the maximal random effects structure justified by the design. The generalization performance of LMEMs including data-driven random effects structures strongly depends upon modeling criteria and sample size, yielding reasonable results on moderately-sized samples when conservative criteria are used, but with little or no power advantage over maximal models. Finally, random-intercepts-only LMEMs used on within-subjects and/or within-items data from populations where subjects and/or items vary in their sensitivity to experimental manipulations always generalize worse than separate F1 and F2 tests, and in many cases, even worse than F1 alone. Maximal LMEMs should be the ‘gold standard’ for confirmatory hypothesis testing in psycholinguistics and beyond.
登录
查看更多内容
影响因子：
4.3
作者：
Barr, Dale J.
通讯作者：
Barr, Dale J.
DOI：
10.1016/s0022-5371(73)80014-3
发表时间：
1973-01-01
期刊：
JOURNAL OF VERBAL LEARNING AND VERBAL BEHAVIOR
影响因子：
--
作者：
CLARK, HH
通讯作者：
CLARK, HH
影响因子：
5.4
作者：
Janssen, Dirk P.
通讯作者：
Janssen, Dirk P.
影响因子：
2.5
作者：
DAVENPORT, JM;WEBSTER, JT
通讯作者：
WEBSTER, JT
影响因子：
4.3
作者：
Mirman, Daniel;Dixon, James A.;Magnuson, James S.
通讯作者：
Magnuson, James S.