文件名称：论文研究-支持Hadoop大数据访问的pNFS框架研究与实现.pdf
文件大小：1.07MB
文件格式：PDF
更新时间：2022-08-11 15:07:44
分布式文件系统,大数据,缓存,布局
随着大数据时代到来，分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的pNFS框架为目的，采用在Hadoop与pNFS之间添加pNFS shim layer模块的方法，实现了pNFS支持Hadoop大数据访问的HDFS APIs；通过在pNFS shim layer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对提出的框架进行测试，结果显示写性能提升超过45%，读性能提升超过97%，证明此框架可以有效地支持Hadoop大数据访问。