写完全离线的目的有几点:
1、数据安全考虑,服务器不允许与外部连通。
2、对于下载速度很慢的时候,可以考虑。
3、集群规模大,人手不够,又不会写shell脚本一键安装。
cloudera manager 下载地址:http://archive.cloudera.com/cm5/
CDH 下载地址:http://archive.cloudera.com/cdh5/
说明:测试中的IP为伪造IP,本人测试服务器IP,不能避让显示的都打码,请谅解。1、系统 及软件版本:
系统版本:centos 6.9
cloudera manager 版本:5.7.0
CDH 版本:5.7.0
2、安装准备工作:
找一台可以上网的机器,下载CM的tar.gz包和CDH的parcel文件。将所有文件上传到一台服务器(我们上传到192.168.1.1)。
服务安装及服务器对照表:
服务器修改:
a、关闭防火墙:service iptables stop 或者setup关闭。设置开机关闭。
b、修改hosts文件:
192.168.1.1 bigdata01
192.168.1.2 bigdata02
192.168.1.3 bigdata03
192.168.1.4 bigdata04
c、更改selinux 为disabled
vi /etc/selinux/config
SELINUX=disabled
重启生效。
d、开启服务器http服务
3、依赖软件安装:
postgresql安装:
安装版本必须8.2以上,CM安装时默认将数据保存到postgresql数据库。
yum install postgresql92-libs-9.2.13-1PGDG.rhel6.x86_64.rpm (每台服务器都必须有次lib)
yum install postgresql92-9.2.13-1PGDG.rhel6.x86_64.rpm
yum install postgresql92-server-9.2.13-1PGDG.rhel6.x86_64.rpm
注意安装顺序!
mysql安装及配置:
替换postgresql数据库、hive元数据库。
安装配置请百度,建库如下:
为Hive metastore建database
create database hiveDEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%'IDENTIFIED BY 'hive123';
为Hue建database:
create database hue DEFAULT CHARACTER SETutf8;
grant all on hue.* TO 'hue'@'%'IDENTIFIED BY 'hue123';
D. 为Oozie建database:
create database oozie DEFAULT CHARACTER SETutf8;
grant all on oozie.* TO 'oozie'@'%'IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' identified by 'password' WITH GRANT OPTION;
E.为Activity Monitor创建数据库:
create database amon DEFAULT CHARACTER SET utf8;
grantall on amon.* TO 'amon'@'%' IDENTIFIED BY 'abc123';
4、安装CM:
mkdir -p /home/opt/cloudera #创建解压后存放文件的文件夹。
tar -zxvf cm5.7.0-centos6.tar.gz -C /home/opt/cloudera #解压缩。
createrepo /home/opt/cloudera #创建yum源,由于是离线安装,源在本地才可行。
mkdir /var/www/html/cloudera #创建http服务访问的文件。
cd /var/www/html/
ln -s /home/opt/cloudera cloudera #将yum源软连接到该目录。
配置yum源:
./cloudera-manager-installer.bin --skip_repo_package=1
--skip_repo_package=1 是为了安装cm相关软件不在使用自动生成的cloudera-manager.repo
一路next。安装会自动安装java,不需要手动安装和配置。
关闭cloudera server和默认数据库。
更改默认数据库(postgresql更改为mysql)
方法一:
/usr/share/cmf/schema/scm_prepare_database.sh mysql(数据库类型) scm(数据库名称) -h192.168.1.1(mysql服务器的地址) -uroot -pabc123 --scm-host192.168.1.1(server安装地址) scm scm scm
可能会报错:ERROR Unable to find the MySQL JDBC driver. Please make sure that you have installed it as per instruction in the installation guide
将mysql的驱动mysql-connector-java-5.1.36-bin.jar拷贝到:/usr/java/jdk1.7.0_67-cloudera/jre/lib/ext,重新执行上述脚本即可。
方法二(不推荐):
自建scm数据库,修改配置文件:
vi /etc/cloudera-scm-server/db.properties
重新启动cloudera server即可。等待一会看web页面。
http://192.168.1.1:7180 用户/密码:admin/admin
5、安装CDH:
mkdir /home/opt/CDH
将parcel相关的文件移动到此目录下。
cd /var/www/html/cloudera/
ln -s /home/opt/CDH CDH
查看是否OK。
进入CM的web管理界面:
点击接受和继续:
用不收费的选择第一个继续:
写好IP地址,点击搜索,正常情况会通过,点击继续:
更多选项:
配置正确会出现版本:
存储库写自己的yum源地址:
点击继续:
密码都要一样:
继续进行安装:
报错:
安装相应的包即可,卸载重新安装。找包网站:
http://rpmfind.net/linux/rpm2html/search.php?query=&submit=Search+...&system=&arch=
安装成功如下图所示:
点击继续开始从本地http服务器下载CDH:
点击继续:
按照要求修改系统文件,
swappiness 使用echo 更改
重新检测:
点击完成:选择CDH的安装组件:
点击继续,自定义角色:
添加数据库部分(添加后需要检测,需要mysql的驱动):
继续继续:
第一次启动时间较长:
效果图如下:
至此,安装完毕。自行测试。