cluster-coefficient-hadoop:使用 MapReduce 在 Hadoop 上实现集群系数计算

时间:2024-07-27 13:27:16
【文件属性】:

文件名称:cluster-coefficient-hadoop:使用 MapReduce 在 Hadoop 上实现集群系数计算

文件大小:6KB

文件格式:ZIP

更新时间:2024-07-27 13:27:16

Java

集群系数-hadoop 使用 MapReduce 在 Hadoop 上实现集群系数计算。 聚类系数定义为三角形数与三元组数之比。 这个系数表明一个人的两个朋友也是朋友的可能性,在社交网络分析中特别有用。 要编译,运行 ./compile_make_jar.sh 运行程序前,将jar文件复制到slave节点 ./copy_jar.sh 运行程序前,将数据文件拷贝到HDFS中 /home/scratch/hadoop_core/bin/hadoop dfs -put datafile /user/mygroup/intput 运行程序 ./execute.sh 该程序计算一个大型网络的集群系数。 网络的边缘被分成小文件。 小文件中的每一行代表一条边。 两个顶点由空格或制表符分隔。 这些小文件的名字就是程序的输入。 程序完成后,输出系数在HDFS的输出目录中。 这主要是一种MapR


【文件预览】:
cluster-coefficient-hadoop-master
----mymapper.java(5KB)
----myreducer.java(1KB)
----compile_make_jar.sh(185B)
----copy_jar.sh(168B)
----MyInputFormat.java(3KB)
----README.md(2KB)
----execute.sh(188B)
----Cluster_Coefficient.java(1KB)

网友评论