hadoop client 客户端模式搭建
在实际的开发环境中,在集群环境中开发往往存在很多安全隐患,例如集群文件被误删等等,所以一般的开发工作都是本地完成开发的。本地做MR开发时,由于没有hadoop环境,所以调试工作往往变的很难进行,所以在本地搭建一个hadoop client,不仅能提供本地调试环境,还能从直接从本地访问到hdfs 数据和提交任务到hadoop环境中。你可以在本地运行MR,不登陆服务器查看数据。本文只写在windows环境下搭建,linux环境也差不多(更简单),有需要可以留言。
hadoop 客户端模式搭建
1、将集群的的配置文件复制到本地,并且配置HADOOP_HOME,和环境变量(PATH),如图:
将hadoop的bin和sbin路径配置好,如上图,验证,打开cmd,输入hadoop -version。
2、修改配置文件:
(1)修改core-site.xml,修改 fs.default.name选项的值,使其指向集群master的地址。
(2)修改hadoop-env(windows修改.cmd文件)的jdk路径。
需要修改的就只有上面两项,是不是很简单。
3、配置本地用户变量,冒充hadoop用户(我这里用的时虚拟机,所以用的root权限,可根据实际情况经行修改),如果不设置这一步,会报权限拒绝。
到这一步,hadoop的客户端已经搭建完成了,你可以在本地运行MR,不登陆服务器查看数据。
4、写在最后,其实hadoop client模式不仅仅只用于本地调试,还可以作为集群的堡垒机使用,使得集群环境和开发环境分离开来。
注:如需要hive,spark 等客户端模式搭建文档,如果遇到搭建问题可在博客留言,我会定期回复。