Windows下配置Hadoop环境

时间：2021-02-11 08:36:15

下载软件

在Windows环境下配置Hadoop，需要以下软件：

jdk：

http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

Ant：

http://ant.apache.org/bindownload.cgi

Cygwin：

https://cygwin.com/install.html

软件安装

jdk安装

jdk安装程序为直装方式，只需要双击就可以，但是其中需要注意地方为安装路径确保为英文、无空格的。否则后续启动Hadoop时会报错。
安装完成后，需要设置JAVA_HOME,自己上网查询就可以。

Ant安装

直接将Ant解压到你指定目录中（最好与Hadoop在一起）。
然后添加环境变量ANT_HOME，同jdk环境变量配置相同。

Cygwin安装

双击下载后的安装包，一直点击“下一步”，在出现“Select Package”界面时，在“Search”中输入“openssh”，然后在出来的结果出选择“net”下选中“openssh”，然后选择下一步，直到安装完成。

Hadoop启动/停止脚步需要通过SSH服务发送命令，所以需要安装ssh
双击安装完成后的Cygwin，在命令行中输入ssh-host-config命令，然后按照提示进行安装即可。

下载Hadoop源码

当前比较流行的Hadoop源码主要有：Apache Hadoop和Cloudera Distributed Hadoop。本文选用的是Apache Hadoop。

https://archive.apache.org/dist/hadoop/common/

Hadoop已经发布好几个版本，其中最具有代表性的为1.0.0版本，所以本文下载的为1.0.0版本。（每个版本后续的配置不相同，请注意）

下载后解压到指定目录。

启动Hadoop

修改配置文件

需要修改conf文件夹中的以下四个文件：
core-site.xml、marped-site.xml、hdfs-site.xml和hadoop-env.sh

core-site.xml:

在<configuration>和</configuration>之间添加以下代码

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

marped-site.xml:

在<configuration>和</configuration>之间添加以下代码

<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>

hafs-site.xml:

在<configuration>和</configuration>之间添加以下代码

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

hadoop-env.sh:

最后添加

export JAVA_HOME=......
……为你自己设置的JAVA_HOME。

设置免密登录

为了避免每次启动/停止Hadoop输入密码进行验证，需要设置免密登录。
步骤为

打开Cygwin，输入命令

ssh-keygen -t rsa

“~/.ssh/”目录下生成私钥id_rsa和公钥id_rsa.pub

将公钥文件复制到相同目录下authorized_keys文件

cd ~/.ssh/
cat id_rsa.pub >> authorized_keys

启动Hadoop

  1. 格式化HDFS

bin/hadoop namenode -format
2. 启动Hadoop

bin/start-all.sh

通过以下url查看MapReduce是否启动

http:/localhost:50030/

通过以下url查看HDFS是否启动

http:/localhost:50070/

经过以上步骤，Hadoop已成功启动。
标签：

相关文章