文件名称：论文研究-一种面向HDFS的数据随机访问方法.pdf
文件大小：1.28MB
文件格式：PDF
更新时间：2022-09-27 21:37:59
论文研究
为了简化文件系统的实现，支持超大规模数据集的流式访问，HDFS牺牲了文件的随机访问功能，而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上，提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口，用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生，其余副本在首副本写入完成之后采用数据复制的方式生成。此外，为数据块添加了权限管理功能，Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化，文件对应的数据块权限也会改变。测试表明，数据读取性能提升了约10%，数据写入性能提升了20%以上，在高并发下写入性能最大可提升2.5倍。