文件名称:单机测试与程序执行-MapReduce数据分析实战
文件大小:835KB
文件格式:PPT
更新时间:2024-05-15 13:24:26
MapReduce
单机测试与程序执行 一、单机测试 head test.log | python map.py | python red.py 一、将文件上传到集群 /bin/hadoop fs -copyFromLocal test.log /hdfs/ 三、运行map red /bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -file /path/map.py -file /path/red.py -mapper /path/map.py -reducer /path/red.py -inputformatcom.hadoop.mapred.DeprecatedLzoTextInputFormat -input /path/test.log -output /path/