【大数据系列】hadoop集群的配置

时间:2023-12-13 23:27:50

一、hadoop的配置文件分类

1、只读类型的默认文件

core-default.xml     hdfs-default.xml    mapred-default.xml   mapred-queues.xml

2、定位设置

core-site.xml   hdfs-site.xml   mapred-site.xml  mapred-queues.xml

3、守护进程设置

hadoop-env.sh

二、守护进程配置表

守护进程(Daemoon) 配置选项(Configure Options)
NameNode     HADOOP_NAMENODE_OPTS
DataNode HADOOP_DATANODE_OPTS
SecondaryNameNode HADOOP_SECONDARYNAMENODE_OPTS
JobTracker HADOOP_JOBTRACKER_OPTS
TackTracker HADOOP_TASKTRACKER_OPTS

三、core-site  hdfs-site  mapred-site的配置

1、core-site.xml

参数(Parameter) 值(Value)
fs.default.name NameNode的IP地址及端口

2、hdfs-site.xml

参数(Parameter) 值(Value)
dfs.name.dir NameNode存储名字空间及汇报日志的位置
dfs.data.dir DataNode存储数据块的位置

3、mapred-site.xml

参数(Parameter) 值(Value)
mapreduce.jobtracker.address JobTracker的IP地址及端口
mapreduce.jobtracker.system.dir MapReduce在HDFS上存储文件的位置
mapreduce.cluster.local.dir MapReduce的缓存数据存储在文件系统中的位置
mapred.tasktracker.{map|reduce}.tasks.maximum 每台TaskTracker所能运行的Map或Reduce的task最大数量
dfs.hosts/dfs.hosts.exclude 允许或禁止的DataNode列表

mapreduce.jobtracker.hosts.filename/

mapreduce.jobtracker.hosts.exclude.filename

允许或禁止的TaskTrackers列表
mapreduce.cluster.job-authorization-enabled 布尔类型,表示Job,存储控制列表是否支持对Job的观察和修改