文件名称：MapReduce分布式计算平台编程示例
文件大小：176KB
文件格式：DOC
更新时间：2015-09-11 07:29:24
MapReduce hadoop
1. MapReduce介绍 1 1.1 编程模式 1 2.2 简单例子 1 2 用户自定义接口 3 2.1 map函数 3 2.2 Reduce函数 3 2.3输入和输出格式 4 2.4 partitioner函数 4 2.5 Combiner函数 4 3 Hadoop MapReduce平台使用 5 3.1 streaming介绍 5 3.2 C语言Map-Reduce程序示例 6 3.2.1计算任务 6 3.2.2 Mapper算法设计 7 3.2.3 Reducer算法设计 8 3.2.4 作业提交命令 9 3.3 shell Map-Reduce程序示例 9 3.3.1计算任务 9 3.3.2 map实现 10 3.3.3 reduce实现 11 3.3.4 作业提交命令 11 4技巧 12 4.1 顺序保证 12 4.2 本地执行 12 4.3 状态信息 13 5 实际经验 13 5.1 spider rubbish-mine全库挖掘项目 13 5.2 Rank组page共现信息计算 14 5.3 PS日志分析计算 15 5.4 用户访问信息展现 16 6 参考资料 17 附录一 18