文件名称：论文研究-基于Hadoop平台的并行特征匹配算法研究.pdf
文件大小：1.83MB
文件格式：PDF
更新时间：2022-08-11 17:04:20
分布式文件系统,大数据,特征匹配,并行扫描
很多大企业采用Hadoop分布式文件系统来存储海量数据，而传统的病毒扫描主要针对单机系统环境。研究如何并行化病毒扫描中的核心特征匹配算法来处理分布式海量数据。在Hadoop平台下，基于MapReduce并行编程模型来实现大数据高效的病毒扫描，特别是针对Hadoop处理海量小文件效率低的问题，通过将小文件合并，再利用索引来提高海量小文件的处理效率。实验结果表明，提出的并行特征匹配算法可以显著降低处理时间，适用于大数据的病毒扫描。