Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory
Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory
复制标题
Spitfire：用于易失性和非易失性内存的三层缓冲区管理器
DOI：
10.1145/3448016.3452819
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Cohen, David
中科院分区：
文献类型：
--
作者：
Zhou, Xinjing;Arulraj, Joy;Pavlo, Andrew;Cohen, David
数据库管理系统（DBMS）中缓冲区管理器的设计受易失性存储器的性能特性（即，DRAM）和非易失性存储器（例如，SSD）。关键的设计假设是，数据必须迁移到DRAM，以便DBMS对其进行操作，并且存储速度比DRAM慢几个数量级。但是，新的非易失性存储器（NVM）技术的到来，几乎与DRAM一样快，推翻了这些先前的假设。研究人员最近设计了Hypolite，一种新颖的缓冲区管理器，用于由DRAM，NVM和SSD组成的三层存储层次结构。Hypervisor支持缓存行粒度加载和支持NVM的数据迁移策略。虽然这些优化提高了吞吐量，但Hyperion受到两个限制。首先，它是一个单线程缓冲区管理器。第二，它是在NVM仿真平台上进行评估。这些限制限制的效用获得的见解，使用Hypersonic。在本文中，我们提出了喷火，多线程，三层缓冲区管理器，评估Optane持久性内存模块，NVM技术，现在正在由英特尔发货。我们介绍了一个通用的框架推理数据迁移的多层存储层次结构。我们说明了在Hyperion Optane中使用的优化的局限性，然后讨论喷火如何规避它们。我们证明了数据迁移策略必须根据设备和工作负载的特性进行定制。鉴于此，我们提出了一种机器学习技术，用于自动适应任意工作负载和存储层次结构的策略。我们的实验表明，Spitfire在不同的工作负载和存储层次结构中运行良好。
The design of the buffer manager in database management systems (DBMSs) is influenced by the performance characteristics of volatile memory (i.e., DRAM) and non-volatile storage (e.g., SSD). The key design assumptions have been that the data must be migrated to DRAM for the DBMS to operate on it and that storage is orders of magnitude slower than DRAM. But the arrival of new non-volatile memory (NVM) technologies that are nearly as fast as DRAM invalidates these previous assumptions.Researchers have recently designed Hymem, a novel buffer manager for a three-tier storage hierarchy comprising of DRAM, NVM, and SSD. Hymem supports cache-line-grained loading and an NVM-aware data migration policy. While these optimizations improve its throughput, Hymem suffers from two limitations. First, it is a single-threaded buffer manager. Second, it is evaluated on an NVM emulation platform. These limitations constrain the utility of the insights obtained using Hymem.In this paper, we present Spitfire, a multi-threaded, three-tier buffer manager that is evaluated on Optane Persistent Memory Modules, an NVM technology that is now being shipped by Intel. We introduce a general framework for reasoning about data migration in a multi-tier storage hierarchy. We illustrate the limitations of the optimizations used in Hymem on Optane and then discuss how Spitfire circumvents them. We demonstrate that the data migration policy has to be tailored based on the characteristics of the devices and the workload. Given this, we present a machine learning technique for automatically adapting the policy for an arbitrary workload and storage hierarchy. Our experiments show that Spitfire works well across different workloads and storage hierarchies.
登录
查看更多内容
存储层次结构不是层次结构：使用 Orthus 优化现代存储设备上的缓存
DOI：
--
发表时间：
2021
期刊：
USENIX FAST
影响因子：
--
作者：
Wu, Kan;Guo, Zhihan;Hu, Guanzhou;Tu, Kaiwei;Alagappan, Ramnatthan;Sen, Rathijit;Park, Kwanghyun;Arpaci-Dusseau, Andrea;Arpaci-Dusseau, Remzi H.
通讯作者：
Arpaci-Dusseau, Remzi H.
DOI：
10.1145/3132747.3132770
发表时间：
2017-10
期刊：
Proceedings of the 26th Symposium on Operating Systems Principles
影响因子：
--
作者：
Youngjin Kwon;Henrique Fingler;T. Hunt;Simon Peter;Emmett Witchel;T. Anderson
通讯作者：
Youngjin Kwon;Henrique Fingler;T. Hunt;Simon Peter;Emmett Witchel;T. Anderson
三十年后的五分钟规则及其对存储层次结构的影响
DOI：
--
发表时间：
2017
期刊：
ADMS@VLDB
影响因子：
--
作者：
Raja Appuswamy;Renata Borovica;G. Graefe;A. Ailamaki
通讯作者：
A. Ailamaki
乐观锁耦合：一种可扩展且高效的通用同步方法
DOI：
--
发表时间：
2019
期刊：
IEEE Data Engineering Bulletin
影响因子：
--
作者：
Viktor Leis;Michael Haubenschild;Thomas Neumann
通讯作者：
Thomas Neumann
现代存储硬件上内存 OLTP 数据库系统的大于内存数据管理
DOI：
--
发表时间：
2016
期刊：
International Workshop on Data Management on New Hardware
影响因子：
--
作者：
Lin Ma;Joy Arulraj;Sam Zhao;Andrew Pavlo;Subramanya R. Dulloor;Michael J. Giardino;Jeff Parkhurst;J. L. Gardner;K. Doshi;S. Zdonik
通讯作者：
S. Zdonik