本视频适合对Java有一定了解,熟悉java se的Hadoop爱好者,想对Hadoop进行二次开发。下面是以伪分布为例:
想对Hadoop二次开发:
一.首先需要Hadoop和Java之间搭建Eclipse搭建一个桥梁,也就是所谓的插件。
这个插件是由Hadoop来提供的。只要安装Hadoop,就可以在Hadoop安装目录中找到Hadoop-xx-eclipse-pligin.jar。
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TXpFek9HOTNjalJqYW13NWNYcHNjWEZ4WTNVdWNHNW4uanBn.jpg?w=700&webp=1)
图1
二.把这个插件添加到Eclipse安装目录的插件文件夹
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TXpZeU5tWXdaamRxY1hFeGFqZHFOakF4YTJzdWNHNW4uanBn.jpg?w=700&webp=1)
图2
在复制的过程中注意权限问题
三.复制完成之后,需要重启Eclipse。然后定位Hadoop安装目录。
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TXprME4yWnNkR2hyY2pKdVoyTTVZVEpuTkhJdWNHNW4uanBn.jpg?w=700&webp=1)
图3
(1)选择Hadoop安装目录
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TXpJME5HTjBOVFYwYkhOek9HeDBaalYwY25RdWNHNW4uanBn.jpg?w=700&webp=1)
图4
四.调出map/reduce location信息窗口
(1)通过如下操作添加map/reduce视图
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TkRnME5ub3lNbkZ6YnpKeGN6QjVkMjR3YzNNdWNHNW4uanBn.jpg?w=700&webp=1)
图5
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TlRBeE5HVTNNWEUzTVdWaU1XRnRjR2N4Y1RFdWNHNW4uanBn.jpg?w=700&webp=1)
图6
(2)通过图7,图8操作显示map/reduce location信息窗口
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TlRNME5IRTVPVEp5TmpscWFtUnRhak16TlRrdWNHNW4uanBn.jpg?w=700&webp=1)
图7
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TlRNME1XbG5OVzU2TVRFMGJqZHJibmt4TkdzdWNHNW4uanBn.jpg?w=700&webp=1)
图8
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl4TlRVd01YcG9lbUZrWVRGcE1XVnBPV3hqTnpjdWNHNW4uanBn.jpg?w=700&webp=1)
图9
图9就可以看到map/reduce location信息窗口
五连接Hadoop
这一步主要配置开发那一台机器的Hadoop。通过new hadoop location,弹出信息配置窗口。
这里需要注意的是,对于伪分布这里填写的location,远程的需要填写ip,端口的配置要与map-site一致,否则会出错。
图10
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl5TURBeE5IVXphSG94WVRKNmFITnZhMlZoTTJFdWNHNW4uanBn.jpg?w=700&webp=1)
图11
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl5TURFek1Xd3daR1F5Wm5VeWEzZHJhVzV2YTJJdWNHNW4uanBn.jpg?w=700&webp=1)
图12
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl5TURBeU0zWnBNblUwZFhnMGNIcGplamhqTVhjdWNHNW4uanBn.jpg?w=700&webp=1)
图13<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl5TURBeU5uQjVNMlZqZVdRM2VubDBaR1F6ZERndWNHNW4uanBn.jpg?w=700&webp=1)
图14
六连接成功
连接则会出现图15所示
<ignore_js_op>
![如何进行Hadoop二次开发指导视频下载 如何进行Hadoop二次开发指导视频下载](https://image.shishitao.com:8440/aHR0cHM6Ly9iYnNtYXguaWthZmFuLmNvbS9zdGF0aWMvTDNCeWIzaDVMMmgwZEhBdmQzZDNMbUZpYjNWMGVYVnVMbU52YlM5a1lYUmhMMkYwZEdGamFHMWxiblF2Wm05eWRXMHZNakF4TkRBeEx6QTVMekl5TURnME5YcDVaRzV6ZVc1bmVYUjJjMlJ1Tm5NdWNHNW4uanBn.jpg?w=700&webp=1)