Hadoop配置文件参数详解

时间：2024-10-10 08:35:26

core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/data/hadoop/tmp</value>

        <!-- 其他临时目录的父目录 -->

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop-alone:9000</value>

        <!--

            hdfs://host:port/

            默认的文件系统的名称。通常指定namenode的URI地址，包括主机和端口

        -->

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>4096</value>

        <!--

            在序列文件中使用的缓冲区大小，这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数

            他决定读写操作中缓冲了多少数据（单位kb）

        -->

    </property>

    <!--ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->

    <property>

        <name>ha.zookeeper.quorum</name>

        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>

    </property>

</configuration>

hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

        <!--指定dataNode存储block的副本数量，默认值是3个，该值应该不大于4-->

    </property>

    <property>

        <name>dfs.blocksize</name>

        <value>268435456</value>

        <!--大型的文件系统HDFS块大小为256MB，先默认是128MB-->

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file://${hadoop.tmp.dir}/dfs/name</value>

        <!--

            存放namenode的名称表（fsimage）的目录，如果这是一个逗号分隔的目录列表，

            那么在所有目录中复制名称表，用于冗余。

         -->

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file://${hadoop.tmp.dir}/dfs/data</value>

        <!--

            存放datanode块的目录。如果这是一个逗号分隔的目录列表，

            那么数据将存储在所有命名的目录中，通常存储在不同的设备上。

        -->

    </property>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>0.0.0.0:50070</value>

        <!---->

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>0.0.0.0:50090</value>

        <!--secondary namenode HTTP服务器地址和端口。-->

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

        <!-- 当为true时，则允许HDFS的检测，当为false时，则关闭HDFS的检测，但不影响其它HDFS的其它功能。-->

    </property>

    <property>

        <name>dfs.nameservices</name>

        <value>hadoop-cluster1</value>

        <!--给hdfs集群起名字 -->

    </property>

    <property>

        <name>dfs.namenode.handler.count</name>

        <value>100</value>

        <!-- RPC服务器的监听client线程数，如果dfs.namenode.servicerpc-address属性没有配置，则线程会监听所有节点的请求。-->

    </property>

</configuration>

yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    <property>

        <name>yarn.resourcemanager.admin.address</name>

        <value>hadoop-alone:8033</value>

    </property>

    <property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

        <value>hadoop-alone:8025</value>

    </property>

    <property>

        <name>yarn.resourcemanager.scheduler.address</name>

        <value>hadoop-alone:8030</value>

    </property>

    <property>

        <name>yarn.resourcemanager.address</name>

        <value>hadoop-alone:8050</value>

    </property>

    <property>

        <name>yarn.resourcemanager.scheduler.address</name>

        <value>hadoop-alone:8030</value>

    </property>

</configuration>

mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

        <!--执行框架设置为 Hadoop YARN.-->

    </property>

</configuration>

相关文章