工作需要,考虑搭建一个虚拟平台下的spark做实验用,最后选定用cloudera提供的稳定版本。
现将过程记录如下:
去年工作中有接触到xenserver虚拟化平台。所以在搭建环境的时候,最开始考虑还是用xenserver,毕竟有现成的设备。于是从网上下载了最新版的xenserver 7,装了才发现报错,系统启动失败(具体原因未究,目前的宗旨是,不行推倒重来,绝不恋战)。果断用回原来的6.2版本。
接着开始装linux系统,选的是Ubuntu 16.04。三台虚拟机装好后开始下载cloudera manager,才发现CM 5暂不支持14以上版本。没法儿,又重新下了个ubuntu 14.04.5 LTS。等系统装好后,开始在线下载CM 5.8.0。
插一个小插曲,在xenserver和ubuntu装好后,关于网络连接的问题。Xenserver本身就默认了每一个网卡都有一个vif和eth0相连接。也就是,只要xenserver能出去,下面的虚拟机都能出去。因为在安装虚拟机的时候,默认选的都是通过eth0来创建的。所以,看到ubuntu里面有4个网卡不足为奇。有必要就手动设置一下,挑eth0做第一网卡。
然后是在cloudera官网下载的问题。昨天折腾到今天,终于有点儿思路了。在选好版本后,填好官网给定的信息,把下图复制到终端即可
在执行上图操作之前,我先apt update一下,然后apt install vim,接着vim /etc/hostname
妥当之后,执行.bin,网上说下载时间会很长,我能等,但是出现
是什么鬼!隐身安装么?!
在修改了主机名后再登录出现下面内容:
什么鬼!!
终于,经过一天一宿,迎来了胜利的曙光:
点击close,进入:
把显示拉到最低端,选择yes
点击continue,来了,致命的鬼来了
Of course,选 FREE版,接着continue
这一次点continue之前,需要填写一些信息,填完如下,不同ip之间用,号隔开,建议包括主机。设置完了之后search一下
接着continue,
这一步,建议选择默认设置
然后
记得打钩,然后continue
来到这一步,有点儿蒙,选了单用户模式
设置密码,continue
看到了吗?
认证失败!
为毛!
真相只有一个!
特么没设ssh免密码登录!!!
早干什么吃的去了!Fuck fuck fuck 有向有环fuck
痛定思痛,开始按部就班部署ssh免密码登录
apt-get update 一下
然后,apt-get install openssh-server
默认安装路径在当前用户的~目录下.ssh/
cat id_rsa.pub >> authorized_keys
如此四台机都执行一遍,可以看得出:ssh localhost 一点儿问题都没有
在cloudera中,所有操作最好在root下操作。于是在ssh中
scp id_rsa.pub root@slave1:~ 时老是报错,被拒绝---这个问题,我都不好意思讲,前后折腾3天,又是改/etc/ssh/sshd_config下的root登录,又是改publikeys认证,password认证,要不就重新弄免密码登录,怎么也不行!起不来!但是scp 给普通用户却是可以。在绝望前的一刻,路兄出现了。必须改掉远端机器,也就是slave1上的root登录。同样的操作需要在三台slave上重复执行。仅这样操作也是不行的!
还是被拒绝!路兄发现了,原来四台机器的root根本就没有被设置密码
需要passwd root一下,设置密码之后,重启服务。然后再scp,舒畅!
未完待续