文件名称:论文研究-基于Spark无线城市社团发现算法的研究.pdf
文件大小:983KB
文件格式:PDF
更新时间:2022-08-11 12:25:36
社团发现,权重排序,深度优先遍历,Spark
针对已有的社团发现算法存在时间复杂度较高、运行过程会产生大量重复团等问题,引入二叉树的存储结构、权重排序、深度优先遍历的概念,与Spark基于内存计算的特点相结合,提出一种改进的并行化S-T-CS算法。通过搭建Spark大数据平台实现该算法,并与传统团搜索CS算法和基于Hadoop的MR-T-CS算法进行性能对比。实验结果表明,S-T-CS算法解决了生成结果冗余的问题,降低了时间代价,提升了社团发现算法的运行速度和对海量数据的处理能力。