论文研究-一种面向HDFS中海量小文件的存取优化方法.pdf

时间:2022-08-11 15:23:31
【文件属性】:

文件名称:论文研究-一种面向HDFS中海量小文件的存取优化方法.pdf

文件大小:1.21MB

文件格式:PDF

更新时间:2022-08-11 15:23:31

海量小文件,文件相关性,合并,预取

为了解决HDFS(Hadoop distributed file system)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,提出一种基于小文件合并与预取的存取优化方案。首先通过分析大量小文件历史访问日志,得到小文件之间的关联关系,然后根据文件相关性将相关联的小文件合并成大文件后再存储到HDFS。从HDFS中读取数据时,根据文件之间的相关性,对接下来用户最有可能访问的文件进行预取,减少了客户端对NameNode节点的访问次数,提高了文件命中率和处理速度。实验结果证明,该方法有效提升了Hadoop对小文件的存取效率,降低了NameNode节点的内存占用率。


网友评论