hadoop-mapreduce-examples-python:python中的所有Hadoop Mapreduce示例!

时间:2024-06-27 09:03:31
【文件属性】:

文件名称:hadoop-mapreduce-examples-python:python中的所有Hadoop Mapreduce示例!

文件大小:5KB

文件格式:ZIP

更新时间:2024-06-27 09:03:31

Python 中的 Hadoop Mapreduce 示例 python 中的几个 Mapreduce 示例以及有关运行它们的文档! 运行代码的步骤 文件夹结构 假定文件存储在 Linux 操作系统中的给定位置。 这只是一个示例说明,实际上位置并不重要。 Hadoop 安装在:/usr/local words.txt(运行 mapreduce 作业的示例 word 文件):/usr/local mapper.py(mapper 文件)和 reducer.py(reducer 文件):/usr/local hdfs 中的 words.txt:/wordcount 创建文件 touch words.txt 在 hdfs 中制作目录 hadoop fs -mkdir -p /wordcount 将测试文件从本地目录复制到 hdfs hadoop fs -copyFromLocal


【文件预览】:
hadoop-mapreduce-examples-python-master
----wordcount-reducer.py(1010B)
----wikipedia-link-analysis-reducer.py(1010B)
----wikipedia-link-analysis-mapper.py(2KB)
----README.md(1KB)
----wordcount-mapper.py(383B)
----Licence.md(1KB)

网友评论