傻瓜式Hadoop集群配置脚本

时间:2021-06-08 14:33:22
【文件属性】:
文件名称:傻瓜式Hadoop集群配置脚本
文件大小:21KB
文件格式:GZ
更新时间:2021-06-08 14:33:22
傻瓜式 Hadoop 集群 配置 利用shell脚本 对Hadoop环境进行傻瓜式配置 先解压! 环节包括: 1.修改hostname 2.修改hosts 3.配置免密 4.Hadoop配置文件的更改 !!!!!!!!!!!!!!!!!!!! ps 请特别注意以下几个问题: 1.hostname 默认改成master ,如果不想修改,请在run.sh 中注释sudo ./change_hostname 2.集群的IP地址 默认为master:192.168.1.10,node1:192.168.1.11 ……以此类推 如果想自己修改 请更改该 config_ip.sh 3.对于ssh免密的设置 我用完全覆盖的 ~/.ssh 的方式 ,请谨慎使用 4.对于Hadoop配置文件的设置 我也使用的完全覆盖的方式 ,请谨慎使用 5.关于使用的jdk 需要各位根据不同情况 进行手动配置 本产品 最适用于 新手的集群建立 、以及学生们的集群环境搭建练习
【文件预览】:
ssh_no_password.sh
hadoop
----yarn-site.xml(1KB)
----kms-log4j.properties(2KB)
----hadoop-env.cmd(4KB)
----ssl-client.xml.example(2KB)
----slaves(31B)
----httpfs-signature.secret(21B)
----ssl-server.xml.example(2KB)
----capacity-scheduler.xml(4KB)
----yarn-env.sh(5KB)
----hadoop-policy.xml(9KB)
----mapred-env.cmd(931B)
----mapred-env.sh(1KB)
----yarn-env.cmd(2KB)
----httpfs-env.sh(1KB)
----kms-site.xml(5KB)
----log4j.properties(11KB)
----mapred-site.xml(565B)
----core-site.xml(463B)
----hadoop-metrics2.properties(3KB)
----kms-env.sh(1KB)
----configuration.xsl(1KB)
----hadoop-env.sh(4KB)
----kms-acls.xml(3KB)
----hdfs-site.xml(752B)
----container-executor.cfg(318B)
----httpfs-site.xml(620B)
----httpfs-log4j.properties(2KB)
----mapred-site.xml.template(758B)
----mapred-queues.xml.template(4KB)
----hadoop-metrics.properties(2KB)
change_hostname.sh
config_hadoop_cfg-file.sh
傻瓜式hadoop集群配置入口(5节点版).sh
.ssh
----id_rsa.pub(395B)
----authorized_keys(2KB)
----id_rsa(2KB)
----namenode_pub_key_al_cp.tmp(0B)
----known_hosts(2KB)
build_hosts.sh
config_ip.sh
run.sh
hosts
hit_package.sh

网友评论