虚拟平台下cloudera manager的在线安装(ubuntu)

时间:2022-01-17 23:02:41

工作需要,考虑搭建一个虚拟平台下的spark做实验用,最后选定用cloudera提供的稳定版本。

现将过程记录如下:

去年工作中有接触到xenserver虚拟化平台。所以在搭建环境的时候,最开始考虑还是用xenserver,毕竟有现成的设备。于是从网上下载了最新版的xenserver 7,装了才发现报错,系统启动失败(具体原因未究,目前的宗旨是,不行推倒重来,绝不恋战)。果断用回原来的6.2版本。

接着开始装linux系统,选的是Ubuntu 16.04。三台虚拟机装好后开始下载cloudera manager,才发现CM 5暂不支持14以上版本。没法儿,又重新下了个ubuntu 14.04.5 LTS。等系统装好后,开始在线下载CM 5.8.0

插一个小插曲,在xenserverubuntu装好后,关于网络连接的问题。Xenserver本身就默认了每一个网卡都有一个vifeth0相连接。也就是,只要xenserver能出去,下面的虚拟机都能出去。因为在安装虚拟机的时候,默认选的都是通过eth0来创建的。所以,看到ubuntu里面有4个网卡不足为奇。有必要就手动设置一下,挑eth0做第一网卡。

然后是在cloudera官网下载的问题。昨天折腾到今天,终于有点儿思路了。在选好版本后,填好官网给定的信息,把下图复制到终端即可

虚拟平台下cloudera manager的在线安装(ubuntu)


在执行上图操作之前,我先apt update一下,然后apt install vim,接着vim /etc/hostname

妥当之后,执行.bin,网上说下载时间会很长,我能等,但是出现

虚拟平台下cloudera manager的在线安装(ubuntu)

 是什么鬼!隐身安装么?!

在修改了主机名后再登录出现下面内容:

虚拟平台下cloudera manager的在线安装(ubuntu)

什么鬼!!

终于,经过一天一宿,迎来了胜利的曙光:

虚拟平台下cloudera manager的在线安装(ubuntu)

点击close,进入:

虚拟平台下cloudera manager的在线安装(ubuntu)

把显示拉到最低端,选择yes

虚拟平台下cloudera manager的在线安装(ubuntu)

点击continue,来了,致命的鬼来了

虚拟平台下cloudera manager的在线安装(ubuntu)

Of course FREE版,接着continue

虚拟平台下cloudera manager的在线安装(ubuntu)

虚拟平台下cloudera manager的在线安装(ubuntu)

这一次点continue之前,需要填写一些信息,填完如下,不同ip之间用,号隔开,建议包括主机。设置完了之后search一下

接着continue

虚拟平台下cloudera manager的在线安装(ubuntu)

这一步,建议选择默认设置

然后

虚拟平台下cloudera manager的在线安装(ubuntu)

记得打钩,然后continue

虚拟平台下cloudera manager的在线安装(ubuntu)

来到这一步,有点儿蒙,选了单用户模式

虚拟平台下cloudera manager的在线安装(ubuntu)

设置密码,continue

虚拟平台下cloudera manager的在线安装(ubuntu)

看到了吗?

认证失败!                               

为毛!

真相只有一个!

特么没设ssh免密码登录!!!

早干什么吃的去了!Fuck fuck fuck 有向有环fuck

痛定思痛,开始按部就班部署ssh免密码登录

apt-get update 一下

然后,apt-get install openssh-server

默认安装路径在当前用户的~目录下.ssh/

cat id_rsa.pub >> authorized_keys

如此四台机都执行一遍,可以看得出:ssh localhost 一点儿问题都没有

cloudera中,所有操作最好在root下操作。于是在ssh

scp  id_rsa.pub root@slave1时老是报错,被拒绝---这个问题,我都不好意思讲,前后折腾3天,又是改/etc/ssh/sshd_config下的root登录,又是改publikeys认证,password认证,要不就重新弄免密码登录,怎么也不行!起不来!但是scp 给普通用户却是可以。在绝望前的一刻,路兄出现了。必须改掉远端机器,也就是slave1上的root登录。同样的操作需要在三台slave上重复执行。仅这样操作也是不行的!

还是被拒绝!路兄发现了,原来四台机器的root根本就没有被设置密码

需要passwd root一下,设置密码之后,重启服务。然后再scp,舒畅!

未完待续