Alluxio数据随机访问方法的研究
Alluxio数据随机访问方法的研究
复制标题
DOI：
10.3778/j.issn.1002-8331.1906-0169
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
王轶
中科院分区：
文献类型：
--
作者：
魏占辰;黄秋兰;孙功星;刘晓宇;王轶
为保证系统的可扩展性和容错性,Alluxio简化了文件系统实现,不支持数据随机访问,但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差,不支持传统应用,不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后,提出了新式数据随机访问方法,其核心思想是改变原有数据访问和缓存时机,将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写,从而实现对数据的随机访问。在此基础上,还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明,该方法的数据读取性能提升了14.5%,写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法,可获得数倍至数十倍的性能提升。