map-reduce-html:有用的Map Reduce功能集合,可深入了解HTML文档

时间:2024-04-15 16:54:32
【文件属性】:

文件名称:map-reduce-html:有用的Map Reduce功能集合,可深入了解HTML文档

文件大小:10KB

文件格式:ZIP

更新时间:2024-04-15 16:54:32

Python

map-reduce-html 有用的Map Reduce功能集合,可深入了解HTML文档 程序和输出 字数 跑步 -- Using the provided shell script $ ./run.sh WordCount -- Running it on your own $ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \ > -files WordCountMap.py,WordCountReduce.py \ -input /users/jquinn13/Words \ -output /users/jquinn13/WordCount \ -mapper WordCountMap.py \ -reducer WordCountReduce.py 示例输出 the 202466 and 195977 for


【文件预览】:
map-reduce-html-main
----htmltowords.py(1KB)
----InvertedIndexMap.py(591B)
----InLinksMap.py(452B)
----OutLinksMap.py(452B)
----WordCountReduce.py(486B)
----BigramsReduce.py(624B)
----NDegreesReduce.py(824B)
----InvertedIndexReduce.py(504B)
----WordCountMap.py(263B)
----NDegreesMap.py(452B)
----run.sh(2KB)
----htmltohosts.py(708B)
----OutLinksReduce.py(534B)
----BigramsMap.py(502B)
----InLinksReduce.py(536B)
----README.md(4KB)

网友评论