Improving the condition number of estimated covariance matrices
Improving the condition number of estimated covariance matrices
复制标题
改进估计协方差矩阵的条件数
DOI：
10.1080/16000870.2019.1696646
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Tabeart J
中科院分区：
文献类型：
--
作者：
Tabeart J
在资料同化过程中，高维误差协方差矩阵及其逆矩阵被用来加权观测和背景信息的贡献。由于观测误差协方差矩阵通常是通过抽样方法获得的，因此估计通常是退化或病态的，使得不使用技术来减少其条件数就不可能反演观测误差协方差矩阵。在本文中，我们提出了新的理论，现有的两种方法，可以用来“recondition”任何协方差矩阵：岭回归和最小特征值方法。我们比较这些方法与乘性方差膨胀，不能改变矩阵的条件数，但往往被用来占被忽视的相关信息。我们研究了在理论和实际环境中重调对一般协方差矩阵的方差和相关性的影响。改进的理论理解为用户提供了方法选择和目标条件数选择方面的指导。新的理论表明，对于相同的目标条件数，这两种方法增加的方差相比，原始矩阵，与最小特征值方法相比，更大的增加岭回归。我们证明了岭回归方法严格地减少了非对角相关的绝对值。理论比较的影响，重新调节和乘法方差膨胀的数据同化目标函数的方差膨胀改变所有尺度的信息均匀，而重新调节有较大的影响尺度对应于较小的特征值。然后，我们考虑两个例子：一个一般的相关函数，和观测误差协方差矩阵所产生的通道间的相关性。最小特征值方法导致相关矩阵的总体变化比岭回归小，但可以增加非对角相关性。数据同化实验表明，重新调整纠正虚假噪声的分析，但低估了真实的信号相比，乘方差膨胀。
High dimensional error covariance matrices and their inverses are used to weight the contribution of observation and background information in data assimilation procedures. As observation error covariance matrices are often obtained by sampling methods, estimates are often degenerate or ill-conditioned, making it impossible to invert an observation error covariance matrix without the use of techniques to reduce its condition number. In this paper, we present new theory for two existing methods that can be used to ‘recondition’ any covariance matrix: ridge regression and the minimum eigenvalue method. We compare these methods with multiplicative variance inflation, which cannot alter the condition number of a matrix, but is often used to account for neglected correlation information. We investigate the impact of reconditioning on variances and correlations of a general covariance matrix in both a theoretical and practical setting. Improved theoretical understanding provides guidance to users regarding method selection, and choice of target condition number. The new theory shows that, for the same target condition number, both methods increase variances compared to the original matrix, with larger increases for ridge regression than the minimum eigenvalue method. We prove that the ridge regression method strictly decreases the absolute value of off-diagonal correlations. Theoretical comparison of the impact of reconditioning and multiplicative variance inflation on the data assimilation objective function shows that variance inflation alters information across all scales uniformly, whereas reconditioning has a larger effect on scales corresponding to smaller eigenvalues. We then consider two examples: a general correlation function, and an observation error covariance matrix arising from interchannel correlations. The minimum eigenvalue method results in smaller overall changes to the correlation matrix than ridge regression but can increase off-diagonal correlations. Data assimilation experiments reveal that reconditioning corrects spurious noise in the analysis but underestimates the true signal compared to multiplicative variance inflation.
登录
查看更多内容
从晴空 IASI 测量中获得的变换反演的同化
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
C. Prates;S. Migliorini;L. Stewart;J. Eyre
通讯作者：
J. Eyre
通过将观测结果与模型预测相结合，了解选择性砍伐干扰对管理林地碳动态的影响
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
E. Pinnington;E. Casella;S. Dance;A. Lawless;J. Morison;N. Nichols;M. Wilkinson;T. Quaife
通讯作者：
T. Quaife
基于集成的数据同化的样本协方差的线性过滤。
DOI：
--
发表时间：
2015
期刊：
影响因子：
--
作者：
B. Ménétrier;T. Montmerle;Y. Michel;L. Berre
通讯作者：
L. Berre
使用四维变分数据同化研究先验和观测误差相关性在改进森林碳平衡模型预测中的作用
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
E. Pinnington;E. Casella;S. Dance;A. Lawless;J. Morison;N. Nichols;M. Wilkinson;T. Quaife
通讯作者：
T. Quaife
估计背景误差协方差参数并评估其对 OSTIA 系统的影响
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
J. Roberts;K. Bovis;Matthew J. Martin;A. McLaren
通讯作者：
A. McLaren