hadoop集群的规划和搭建

时间:2022-12-01 15:12:45

1.操作系统版本:CentOS 6

CM版本:CM5.x

CDH版本:CDH5.x

2.安装操作系统,对系统盘做 RAID1;

配置静态IP、hostname信息:vim /etc/sysconfig/network-scripts/ifcfg-eth0

并配置所有节点的静态DNS解析: vim /etc/hosts

若启用集群的Kerberos认证功能,则一定要配置集群的DNS域名,可以是假域名:vim /etc/sysconfig/network,  /etc/hosts处主机名也要加带域名的主机名,如:     192.168.0.3  sb-node1.example.com    sb-node1

如果机器配置有双网卡,可以做双网卡绑定

关闭并禁用iptables:

service iptables stop

chkconfig iptables off

关闭SELinux

echo "SELINUX=disabled" > /etc/sysconfig/selinux

重启网络服务  /etc/init.d/network restart

启用nscd(DNS缓存)

yum install -y nscd

service nscd start

chkconfig nscd on

修改transparent_hugepage参数,这个参数默认值可能会导致CDH性能下降

#在/etc/rc.local中增加一行     echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

若kernel版本在.6.32-303之前的版本,关闭内存页面交换,因为某些情况下会导致CDH性能下降

vim /etc/sysctl.conf    增加一行 vm.swappiness=0

sudo sysctl vm.swappiness=0

在要作为repo库的节点上安装毕业软件,含http服务和repo创建工具

yum install createrepo

yum install httpd

service httpd start

chkconfig httpd on

磁盘划分....

角色划分.....

**详细见CDH集群的企业部署