文件名称:PageRank:简单和被阻止的页面排名计算
文件大小:8KB
文件格式:ZIP
更新时间:2024-08-10 05:30:33
Java
网页排名 简单和阻塞的页面排名计算 该项目计算了一个相当大的 Web 图(685230 个节点,7600595 条边)的 PageRank,残差低于 0.1%。 每个 Reducer 键对应于图形的单个节点。 Reduce 任务基本上只是根据节点的直接邻居的 PageRank 值更新其节点的 PageRank 值。 PageRank 值是在它沿着路径“流动”通过图形时计算的,需要与路径长度成比例的 MapReduce 传递次数。 通过将 Web 图形划分为块,并让每个 Reduce 任务同时对整个块进行操作,沿块内的多个边传播数据,从而更好地收敛。 这个想法是每个 Reduce 任务将其整个 Block 加载到内存中,并在 Block 上进行多次内存中 PageRank 迭代,甚至可能迭代直到 Block 收敛。 当 Reduce 任务完成时,它至少会为 Block 的每个节点发出更新后的
【文件预览】:
PageRank-master
----SimplePageRank.java(6KB)
----.gitignore(574B)
----Node.java(661B)
----BlockReducer.java(6KB)
----BlockDriver.java(2KB)
----BlockMapper.java(3KB)
----README.md(1012B)
----.gitattributes(378B)