MapR的安装指南中文版

时间：2022-12-25 22:50:44
 

MapR的安装指南中文版   作者：Andy Liu

 

一、快Hadoop三倍分布式架构Mapr诞生，MapR是什么？

MapR是MapR Technologies, Inc的一个产品，号称下一代Hadoop，使Hadoop变为一个速度更快、可靠性更高、更易于管理、使用更加方便的分布式计算服务和存储平台，同时性 能也不断提高。它将极大的扩大了Hadoop的使用范围和方式。它包含了开源社区的许多流行的工具和功能，例如Hbase、Hive。它还100%和 Apache Hadoop的API兼容。它能够为客户节约一半的硬件资源消耗，使更多的组织能够利用海量数据分析的力量提高竞争优势。目前有两个版本，M3和M5，其 中M3是免费的，M5为收费版，有试用期。具体功能差别见：http://www.mapr.com/products/mapr-editions.html。

1、MapR的整体结构：

MapR的安装指南中文版

二、如何安装MapR？

一l 安装jdk  

1. 下载官方网站64位     jdk-6u21-linux-x64.bin
2. 在/usr下新建java文件夹，将安装包放在/usr/java目录下
# mkdir /usr/java

3. jdk-6u21-linux-x64.bin  文件安装
# chmod a+x jdk-6u21-linux-x64.bin         ← 使当前用户拥有执行权限
# ./ jdk-6u21-linux-x64.bin                           ← 选择yes直到安装完毕

3. 配置环境变量:
<1># vi /etc/profile
<2>在最后加入以下几行：
export JAVA_HOME=/usr/java/ jdk1.6.0_26
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

4. 或者修改配置文件

[root@SW ~]# vi ~/.bashrc

export JAVA_HOME=/usr/java/jdk1.6.0_26

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export JAVA_HOME

export PATH

export CLASSPATH


5. # reboot     ← 重启机器配置生效 (或者使用 source ~/.bashrc)

验证Java JDK是否成功安装：

# java –version
java version "1.5.0_12"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_12-b04)
Java HotSpot(TM) Server VM (build 1.5.0_12-b04, mixed mode)

二l 安装MapR

先把各个nodes 的 hostname 修改为192.168.1.X

下面以盛大云的两个云主机为例， (node1 , node2)  ,

注意：hostname(/etc/hosts)改为IP地址（建议用192.168.1.x）

vi /etc/hosts     192.168.1.142 192.168.1.142 node1

 

安装步骤：

1.      vi /tmp/disks.txt   /dev/sdb

2.  建立更新文件： vi /etc/yum.repos.d/maprtech.repo

[maprtech]

name=MapR Technologies

baseurl=http://package.mapr.com/releases/v1.1.0-sp0/redhat/

enabled=1

gpgcheck=0

protect=1

1.在node1 上执行：

yum install mapr-cldb mapr-fileserver mapr-jobtracker mapr-nfs mapr-tasktracker mapr-webserver mapr-zookeeper

2.在node2 上执行： 
yum install mapr-fileserver mapr-tasktracker mapr-zookeeper
3.在node1, node2上执行：
 /opt/mapr/server/configure.sh -C 192.168.1.142 -Z 192.168.1.142, 192.168.1.150
 /opt/mapr/server/disksetup -F /tmp/disks.txt
代码解释：
  /opt/mapr/server/configure.sh -C <node 1> -Z <node 1>,<node 2>,<node 3>    /// <node1 指 IP 地址>.
  /opt/mapr/server/disksetup -F /tmp/disks.txt


注：这里面，建议使用盛大云硬盘，直接把云硬盘挂载在云主机上。
如果只是使作云主机中的/data分区，会出现以下错误：
/opt/mapr/server/disksetup -F /tmp/disks.txt
2011-07-26 15:44:24,9219 ERROR Global fs/server/util/mrconfig.cc:191 clnt x.x.0.0:0 req 0 seq 0 InitDisk rpc failed Connection reset by peer.(104).
2011-07-26 15:44:24,9220 ERROR Global fs/server/util/mrconfig.cc:2062 clnt x.x.0.0:0 req 0 seq 0 InitDisk failed Connection reset by peer.(104).
-----------------************************---------
7.     Node 1与node2 :
/etc/init.d/mapr-zookeeper start
8.     在node1:
/etc/init.d/mapr-warden start
注： 这里面，当完成 zookeeper start后，由于node1、node2的zookeeper服务要相互交互住处，所以要等大概30秒后，再在node1开启 warden,否则会提示：  Couldn't connect to the CLDB service. 
9.     在node1:
/opt/mapr/bin/maprcli acl edit -type cluster -user root:fc   
10.  用浏览器访问：
https://****:8443/#dashboard
完成在MapR 上注册我们的cluster.
11.  在node1
/opt/mapr/bin/maprcli node services -nodes 192.168.1.142 -nfs start
12.  在node2
/etc/init.d/mapr-warden start
注： 两个nodes都在cluster上注册了！

我们可以看下，cluster的使用情况。
至此，MapR顺利安装，我们可以测试一下hadoop命令是否成功：
我们试下MapReduce功能：hadoop jar hadoop-0.20.2-dev-expamples.jar pi 2 50
 

l 注意：

²  在cluster注册nodes的IP 地址时， hostname一定不能重复，否则无法通过，并且不会给你提示错误！！

²  使用： getent hosts `hostname` ，查看当前的hostname是否冲突

关于解决步骤8的方法 : ”cannot connect to CLDB and Mapr Control System not up”

There is 3 ways to check it out:

  

1. the problem was either 1 of 2 things. Ted instructed me to use IP addresses during the configuration step instead of hostnames.

e.g. on the following step /opt/mapr/server/configure.sh -C <node 1=""> -Z <node 1="">,<node 2="">,<node 3="">

dont do... /opt/mapr/server/configure.sh -C maprnode1 -Z maprnode1,maprnode2,maprnode3 do this instead... /opt/mapr/server/configure.sh -C 192.168.1.11,192.168.1.12,192.168.1.13 -Z 192.168.1.11,192.168.1.12,192.168.1.13

-----------------------------***************----------------------------------

2. the other possibility is the order which you run start zookeeper? start it on node3 then node2 then node1 then start warden on node1

3. the 3rd possibility of my problems could have come from starting warden on another node other than node1.. but i dont know enough about your system to know if thats a bad thing.

注意，hostname在整个安装过程中相关重要，MapR对于安装过程中的ID冲突，并不提示，而且区分node是根据hostname,而非IP+hostname。

给出修改的例子与解释：vi  /etc/hosts

在尾行增加：192.168.1.142 192.168.1.142 node1

原因：hosts文件的作用相当如DNS，提供IP地址到hostname的对应。早期的互联网计算机少，单机hosts文件里足够存放所有联网计算机。不过随着互联网的发展，这就远远不够了。于是就出现了分布式的DNS系统。由DNS服务器来提供类似的IP地址到域名的对应。具体可以man hosts。

如果使用 hostname node1 来修改，该命令只是暂时改变hostname, 重启后仍会装载/etc/hosts里面的hostname信息，以hostname node1命令来改名来完成的MapR安装，重启服务器后，系统会由于node ID冲突而崩溃！！


类似安装教程也可查阅：http://www.tbdata.org/archives/1833

 

 

 

标签：

相关文章