解读WordCount代码

时间:2024-03-22 16:30:18

解读WordCount代码,分为三部分内容:Driver、Mapper、Reducer

 

1、Driver内容(main()方法)

解读WordCount代码

解读WordCount代码

2、Mapper内容                                        
    1、Mapper共有三个函数,分别是setup、map、cleanup                                    
        Mapper任务启动后首先执行setup函数,用于初始化工作                                
        map函数针对每条输入键值对执行函数中定义的逻辑处理,并按规定的键值对格式输出                                
        所有键值对处理完成后,调用cleanup函数,用于关闭资源等操作                                
     解读WordCount代码

 

3、Reducer内容                                        
    1、Reducerr共有三个函数,分别是setup、reduce、cleanup                                    
        Reducer任务启动后首先执行setup函数,用于初始化工作                                
        reduce函数针对每条输入键值对执行函数中定义的逻辑处理,并按规定的键值对格式输出                                
        所有键值对处理完成后,调用cleanup函数,用于关闭资源等操作                                
        解读WordCount代码