论文研究-基于Spark的并行频繁模式挖掘算法.pdf

【文件属性】：
文件名称：论文研究-基于Spark的并行频繁模式挖掘算法.pdf
文件大小：599KB
文件格式：PDF
更新时间：2022-09-30 06:23:19
论文研究 在大数据环境下Apriori频繁模式挖掘算法在数据处理过程具有预先设定最小阈值、时间复杂度高等缺陷, 为此采用多阶段挖掘策略实现并行化频繁模式挖掘算法PTFP-Apriori。首先将预处理数据以模式树的形式存储，通过最为频繁的[k]个模式得到最优阈值。然后根据该值删除预期不能成长为频繁的模式以降低计算规模，并利用弹性分布式数据集RDD完成统计项集支持度计数、候选项集生成的工作。实验分析表明相比于传统的频繁模式挖掘算法，该算法具有更高的效率以及可扩展性。