Linux中Hadoop的安装及环境变量配置

时间:2024-03-19 15:35:09

Hadoop的运行需要Java环境,请确保在jdk安装成功的情况下安装Hadoop
第一步:从官网下载Hadoop
网址:http://hadoop.apache.org/releases.html
Linux中Hadoop的安装及环境变量配置
本文以2.7.6版本为例,作简单介绍
第二步,解压并配置环境
解压命令:tar -zxvf hadoop-2.7.6.tar.gz
配置环境变量:
export HADOOP_HOME=/home/xxx/software/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
第三步:修改配置文件
1、修改hadoop中 etc/hadoop/core-site.xml 文件,如图所示:
Linux中Hadoop的安装及环境变量配置
2、修改hadoop中 etc/hadoop/hdfs-site.xml 文件,将数据的副本数由默认的3改成1。修改后如下图所示:
Linux中Hadoop的安装及环境变量配置
第四步:格式化文件系统,并启动hdfs系统
格式化命令:hdfs namenode –format
启动命令:start-dfs.sh(停止命令:start-dfs.sh)
查看进程:jps,如果如下图所示,则hdfs成功
Linux中Hadoop的安装及环境变量配置
第五步:关闭Linux防火墙
命令: ufw disable
第六步:免密登录
1、切换到普通用户,执行命令:ssh-****** –t rsa,然后一直按回车键
2、用户目录会产生.ssh文件夹,其下有id_rsa、id_rsa.pub三个文件,执行以下命令 cp id_rsa.pub authorized_keys
3、重启Linux即可实现免密登录Hadoop
第七步:添加映射
在C:\Windows\System32\drivers\etc目录下的hosts文件中添加如下内容:
格式:Linux的IP地址 ubuntu
第八步:通过网页查看Hadoop文件
Linux的IP地址:50070
已经修改映射,所以可以直接下载并查看Hadoop文件
Linux中Hadoop的安装及环境变量配置