Optimizing Tensor Programs on Flexible Storage
Optimizing Tensor Programs on Flexible Storage
复制标题
在灵活存储上优化张量程序
DOI：
10.1145/3588717
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Suciu, Dan
中科院分区：
文献类型：
--
作者：
Schleich, Maximilian;Shaikhha, Amir;Suciu, Dan
张量程序通常需要处理大型张量（向量，矩阵或高阶张量），这些张量需要专门的存储格式用于其内存布局。在文献中已经提出了几种这样的布局，例如坐标格式，压缩稀疏行格式和许多其他格式，这些格式专门设计用于最佳地存储具有特定稀疏属性的张量。然而，现有的张量处理系统需要专门的扩展，以便利用每一种新的存储格式。在本文中，我们描述了一个系统，允许用户定义灵活的存储格式的声明性张量查询语言，类似于张量程序所使用的语言。程序员只需要编写存储映射，它以声明的方式描述张量在主存中的布局。然后，我们描述了一个基于成本的优化器，优化张量程序的特定内存布局。我们证明经验显着的性能改进相比，最先进的张量处理系统。
Tensor programs often need to process large tensors (vectors, matrices, or higher order tensors) that require a specialized storage format for their memory layout. Several such layouts have been proposed in the literature, such as the Coordinate Format, the Compressed Sparse Row format, and many others, that were especially designed to optimally store tensors with specific sparsity properties. However, existing tensor processing systems require specialized extensions in order to take advantage of every new storage format. In this paper we describe a system that allows users to define flexible storage formats in a declarative tensor query language, similar to the language used by the tensor program. The programmer only needs to write storage mappings, which describe, in a declarative way, how the tensors are laid out in main memory. Then, we describe a cost-based optimizer that optimizes the tensor program for the specific memory layout. We demonstrate empirically significant performance improvements compared to state-of-the-art tensor processing systems.
登录
查看更多内容
基本线性代数编译器
DOI：
--
发表时间：
2014
期刊：
IEEE/ACM International Symposium on Code Generation and Optimization
影响因子：
--
作者：
Daniele G. Spampinato;Markus Püschel
通讯作者：
Markus Püschel
影响因子：
1.8
作者：
Kjolstad, Fredrik;Kamil, Shoaib;Amarasinghe, Saman
通讯作者：
Amarasinghe, Saman
DOI：
--
发表时间：
2013
期刊：
ACM SIGMOD Conference
影响因子：
--
作者：
Yannis Klonatos;Andres Nötzli;A. Spielmann;Christoph E. Koch;Viktor Kunčak
通讯作者：
Viktor Kunčak
影响因子：
6.2
作者：
Adams, Andrew;Ma, Karima;Ragan-Kelley, Jonathan
通讯作者：
Ragan-Kelley, Jonathan
平等饱和：一种新的优化方法
DOI：
--
发表时间：
2009
期刊：
ACM-SIGACT Symposium on Principles of Programming Languages
影响因子：
--
作者：
R. Tate;M. Stepp;Zachary Tatlock;Sorin Lerner
通讯作者：
Sorin Lerner