一步一步跟我学hadoop(1)----hadoop概述和安装配置

时间：2023-12-16 09:29:08
这几年云计算大数据非常火，借这个东风。今天開始学习apache的分布式计算框架hadoop，希望不要太落后。

Hadoop说明

对于hadoop。apache官方wiki给出的说明为

Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named Map/Reduce, where the application is divided into many small fragments of work, each of which may be executed or re-executed on any node in the cluster. In addition, it provides a distributed file system (HDFS) that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both MapReduce and the Hadoop Distributed File System are designed so that node failures are automatically handled by the framework.

大意为：

Apache Hadoop是一个在大型集群的商品硬件上执行的应用程序的框架。Hadoop框架透明的提供了应用程序的可靠性和数据訪问的方法。Hadoop实现了Map/Reduce计算模型，每一个应用程序被切分成很多碎片化的工作段，每一个段可在不论什么急群众的节点（反复）执行。此外。它还提供了用以在计算节点中存储数据的分布式文件系统HDFS,HDFS提供了节点间的高度聚合能力。MapReduce和Hadoop分布式文件系统都设计成拥有节点故障时自己主动处理的能力。

先决条件

支持平台

  • GNU/Linux是产品开发和执行的平台。

    Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。

  • Win32平台是作为开发平台支持的。因为分布式操作尚未在Win32平台上充分測试，所以还不作为一个生产平台被支持。

所需软件

Linux和Windows所需软件包含:

  1. JavaTM1.5.x，必须安装。建议选择Sun公司发行的Java版本号。
  2. ssh 必须安装而且保证 sshd一直执行。以便用Hadoop     脚本管理远端Hadoop守护进程

Windows下的附加软件需求

Cygwin - 提供上述软件之外的shell支持。

安装软件

假设你的集群尚未安装所需软件，你得首先安装它们。

以Ubuntu Linux为例:

$ sudo apt-get install ssh

$ sudo apt-get install rsync

linux上hadoop安装

hadoop生产环境是linux。这里我在虚拟机上进行软件的安装,系统为centos7-64bit

ssh设置及主机名改动

改动主机名

  1. 运行主机名改动（ip要与实际相应上）

    改动192.168.88.128相应机器的hostname，在该ip相应的主机运行命令

    hostname master

    对应的，对其它两台机器分别运行

    hostname slave1
    
hostname slave2

    同一时候依次改动机器上的etc/host文件

    192.168.88.128	master
    
192.168.88.129	slave1
    
192.168.88.130	slave2
  2. 开启ssh服务

安装openssh-server：$ sudo apt-get install openssh-server

3.  建立ssh无password登录

  • 在NameNode 上实现无password登录本机： 
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    直接回车，完毕后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。

    这两个是成对

    出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys

    文件)：$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。完毕后能够实现无password

    登录本机：$ ssh localhost。

  • 实现NameNode 无password登录其它DataNode：把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以

    192.168.88.128 节点为例)：
  1. 拷贝NameNode 的id_dsa.pub 文件： 
    scp ~/.ssh/id_dsa.pub root@192.168.88.129:/root
  2. 登录192.168.88.129
    cat /root/id_dsa.pub >> ~/.ssh/authorized_keys

jdk安装

  1. 首先从oracle官网下载jdk6,下载地址为http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html#jdk-6-oth-JPR。我下载的是.bin后缀的文件
  2. 第二步，改动.bin文件的可运行权限,这里我放在了桌面上 
    chmod 755 *.bin
  3. 解压缩bin文件 
    ./*.bin
  4. 对解压的文件重命名（这不也可省略。主要是path等设置的时候简明） 
    mv jdk* jdk

设置path路径。首先打开vi编辑器

vi /etc/profile

在/etc/profile末尾加上(按insert按键)

export JAVA_HOME=/root/Desktop/jdk

exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

最后保存并关闭马上应用更改

source /etc/profile

安装hadoop（hadoop版本号0.20.2）

  1. 下载hadoop-0.20.2.tar.gz文件（免积分下载地址会稍后给出）
  2. 解压 
    tar -zxvf hadoop-0.20.2.tar.gz
  3. 重命名 
    mv hadoop-0.20.2 hadoop
  4. 设置hadoop执行环境。进入重命名的hadoop文件夹下的conf文件夹并编辑hadoop-env.sh 
    cd hadoop/conf
  5. 找到# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

    设置JAVA_HOME 
    export JAVA_HOME=/root/Desktop/jdk
  6. 配置conf/masters 和conf/slaves 文件:(仅仅在namenode 上配置) 
    masters
    
   192.168.88.128 
    slaves
    
       192.168.88.129
    
       192.168.88.130
  7. 配置core-site、mapred-site、hdfs-site三个xml文件。三台机器上配置同样

core-site.xml

<configuration>

<!--- global properties -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hexianghui/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<!-- file system properties -->

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.88.128:9000</value>

</property>

</configuration>

hdfs-site.xml:( replication 默觉得3，假设不改动。datanode 少于三台就会报错。改动为与系统适应的个数)

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>192.168.88.128:9001</value>

</property>

</configuration>

最后不要忘记改动path，将hadoop增加到path路径，在/etc/profile文件最后增加

export HADOOP_HOME=/root/Desktop/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

格式化hadoop文件系统并启动

#格式化hadoop文件系统
hadoop namenode -format
#启动hadoop
start-all.sh
#最后用jps查看启动的进程个数

jps

在Namenode节点上结果例如以下

12091 JobTracker

12026 SecondaryNameNode

11875 NameNode

12171 Jps

DataNode结果例如以下

7274 Jps

7049 DataNode

7159 TaskTracker

至此。hadoop分布式文件系统安装完成。

最后，分享下我找的资源，虽说有点老，可是绝对具体。大体描写叙述了hadoop发展现状和hadoop安装配置。资源我已经上传了。下载地址为http://download.csdn.net/detail/*nggui10000/8890953

因为是最近刚開始学习 hadoop。东西须要消化。本系列的博客不能做到每天一篇，望见谅。全然是边学习边写的，大家能够相互交流。如有失误。希望大家能够提出意见。同一时候希望能够持续关注。大家共同学习交流

相关文章