文件名称：基于NoSQL的海量航空物流小文件分布式多级存储方法
文件大小：1.71MB
文件格式：PDF
更新时间：2022-08-11 11:33:20
小文件,Redis,HDFS,多级存储,预取机制
为了解决航空物流领域海量小文件存储效率和访问效率不高的问题，提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性，先根据相关性将文件合并，然后采用分布式多级存储，使用内存式Redis数据库做缓存，HDFS做数据的持久化存储，其过程采用预取机制。实验结果表明，该方法有效提高了小文件的存取效率和磁盘的利用率，显著地降低了网络的带宽占用和集群NameNode的内存消耗，适合解决航空领域海量小文件存储问题。