文件名称:Hadoop-learning
文件大小:68.65MB
文件格式:ZIP
更新时间:2024-08-05 06:31:39
Java
Hadoop学习 MapReduce 过滤器 MR 作业用于过滤带有关键字“night”的倾斜记录 O/P :输出记录,其中仅包含标题中包含关键字“night”的记录。 作业链 作业链:根据作业 A 的标题过滤记录,然后将该输出作为作业 B 的输入并再次过滤标题: 加入 使用 MapReduce 执行连接 唯一访客数 唯一访问者计数:日志(IP 地址、网站)。例如 I/P => usera - google; 用户 - 谷歌; 用户b - 维基; 用户 - 维基 O/P => 谷歌 - 1; 维基 - 2 使用分布式缓存加入 使用分布式缓存方法对两个表执行连接。 体温运动 从天气数据集中找到多年来的最高温度。 I/P(示例)=> 1942 128 1 1940 136 1 1956 124 1 1946 128 1 1940 136 1 1956 154 1 1942 138 1 1940