目录
1. Hadoop中常用端口说明
| 端口名称 |
Hadoop2.x |
Hadoop3.x |
端口配置 |
| NameNode服务所在服务器的IP和端口号 |
8020 / 9000 |
8020 / 9000/9820 |
core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property> |
| HDFS Web UI 的IP和端口号 | 50070 |
9870 | hdfs-site.xml <property> <name>dfs.namenode.http-address</name> <value>hadoop01:9870</value> </property> |
| Yarn Web UI 的IP和端口号 | 8088 |
8088 |
yarn-site.xml <property> <name>yarn.resourcemanager.webapp.address</name> <value>RM_IP:8088</value> </property> tips：RM_IP = ${yarn.resourcemanager.hostname} |
| 数据传输的datanode服务器地址和端口 | 9866 | 9866 | hdfs-site.xml <property> |
2. Hadoop中常用配置文件说明
2.1 配置文件分类
Hadoop中配置文件分两类: 默认配置文件 、自定义配置文件
tips: 用户想修改默认值配置时，只需要在自定义文件中修改相应配置项即可(不指定时，使用默认配置)
2.2 默认配置文件
方式1: 从官网查看默认配置项
官网连接：传送门
方式2: 从 hadoop安装包内 查看
| 默认配置文件名称 | 默认配置文件所在的位置 |
| core-default.xml |
$HADOOP_HOME/share/hadoop/common/hadoop-common-3.2.3.jar/core-default.xml |
| hdfs-default.xml |
$HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-3.2.3.jar/hdfs-default.xml |
| yarn-default.xml |
$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-3.2.3.jar/yarn-default.xml |
| mapred-default.xml |
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.3.jar/mapred-default.xml |
2.3 自定义配置文件
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置
core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode服务 所在服务器的IP和端口号
用来访问HDFS的 链接
-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://worker:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-3.2.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 worker01 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>worker01</value>
</property>
</configuration>hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 namenode web ui IP和端口-->
<property>
<name>dfs.namenode.http-address</name>
<value>worker01:9870</value>
</property>
<!-- 指定 secondary namenode web ui IP和端口-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>worker02:9868</value>
</property>
<!-- 指定 默认副本数(不指定时，默认为3)
tips: 创建文件时，可以指定文件的副本个数，如果没有指定，则使用这个默认值
-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 客户端连接datanode时是否使用datanode主机名(默认值:false)-->
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
</property>
<!-- 数据传输的datanode服务器地址和端口 -->
<property>
<name>dfs.datanode.address</name>
<value>worker01:9866</value>
</property>
<!-- datanode http服务器地址和端口 -->
<property>
<name>dfs.datanode.http.address</name>
<value>worker01:9864</value>
</property>
</configuration>yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager服务 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>worker01</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
</value>
</property>
</configuration>mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>