Compressing atmospheric data into its real information content.
Compressing atmospheric data into its real information content.
复制标题
DOI：
10.1038/s43588-021-00156-2
复制
发表时间：
2021-11
期刊：
影响因子：
--
通讯作者：
Palmer, Tim N.
中科院分区：
文献类型：
--
作者：
Kloewer, Milan;Razinger, Miha;Dominguez, Juan J.;Dueben, Peter D.;Palmer, Tim N.
世界各地的天气和气候预报中心每年产生数百pb的数据。压缩对于减少存储和促进数据共享至关重要。目前的技术不能区分数据中的真实信息和虚假信息，使得有意义的精度水平无法评估。本文从信息论的角度定义了哥白尼大气监测服务（CAMS）的位实信息量。大多数变量每个值包含少于7位的真实信息，并且由于时空相关性而具有高度可压缩性。将没有真实信息的位四舍五入为零有助于无损压缩算法，并对数据本身的不确定性进行编码。所有CAMS数据相对于64位浮点数压缩了17倍，同时保留了99%的真实信息。结合四维压缩，可实现60倍以上的因子。提出了一种数据压缩图灵测试，以优化天气和气候预报数据的可压缩性，同时最大限度地减少信息损失。气候数据的存储精度通常高于所需的精度。提出的压缩方法能够自动从数据的按位真实信息中确定精度，去除任何虚假信息，从而提高压缩效率。
Hundreds of petabytes are produced annually at weather and climate forecast centers worldwide. Compression is essential to reduce storage and to facilitate data sharing. Current techniques do not distinguish the real from the false information in data, leaving the level of meaningful precision unassessed. Here we define the bitwise real information content from information theory for the Copernicus Atmospheric Monitoring Service (CAMS). Most variables contain fewer than 7 bits of real information per value and are highly compressible due to spatio-temporal correlation. Rounding bits without real information to zero facilitates lossless compression algorithms and encodes the uncertainty within the data itself. All CAMS data are 17× compressed relative to 64-bit floats, while preserving 99% of real information. Combined with four-dimensional compression, factors beyond 60× are achieved. A data compression Turing test is proposed to optimize compressibility while minimizing information loss for the end use of weather and climate forecast data. Climate data are often stored at higher precision than is needed. The proposed compression automatically determines the precision from the data’s bitwise real information, removing any false information and leading to a more efficient compression.
登录
查看更多内容
影响因子：
5.1
作者：
Baker, Allison H.;Hammerling, Dorit M.;Lindstrom, Peter
通讯作者：
Lindstrom, Peter
影响因子：
5.1
作者：
Delaunay, Xavier;Courtois, Aurelie;Gouillon, Flavien
通讯作者：
Gouillon, Flavien
DOI：
10.1109/tvcg.2019.2904063
发表时间：
2020-09-01
影响因子：
5.2
作者：
Ballester-Ripoll, Rafael;Lindstrom, Peter;Pajarola, Renato
通讯作者：
Pajarola, Renato
影响因子：
6.8
作者：
Klöwer M;Düben PD;Palmer TN
通讯作者：
Palmer TN
影响因子：
6.3
作者：
Inness, Antje;Ades, Melanie;Suttie, Martin
通讯作者：
Suttie, Martin