【文件属性】:
文件名称:hadoop-mapreduce-examples-python:python中的所有Hadoop Mapreduce示例!
文件大小:5KB
文件格式:ZIP
更新时间:2021-06-07 15:16:51
Python 中的 Hadoop Mapreduce 示例
python 中的几个 Mapreduce 示例以及有关运行它们的文档!
运行代码的步骤
文件夹结构
假定文件存储在 Linux 操作系统中的给定位置。 这只是一个示例说明,实际上位置并不重要。
Hadoop 安装在:/usr/local
words.txt(运行 mapreduce 作业的示例 word 文件):/usr/local
mapper.py(mapper 文件)和 reducer.py(reducer 文件):/usr/local
hdfs 中的 words.txt:/wordcount
创建文件
touch words.txt
在 hdfs 中制作目录
hadoop fs -mkdir -p /wordcount
将测试文件从本地目录复制到 hdfs
hadoop fs -copyFromLocal
【文件预览】:
hadoop-mapreduce-examples-python-master
----wordcount-reducer.py(1010B)
----wikipedia-link-analysis-reducer.py(1010B)
----wikipedia-link-analysis-mapper.py(2KB)
----README.md(1KB)
----wordcount-mapper.py(383B)
----Licence.md(1KB)