Hadoop：单节点配置YARN

时间：2024-11-07 09:29:44

目录

一、Hadoop YARN介绍

二、单节点配置YARN

2.1 配置yarn-site.xml 文件

2.2 配置 mapred-site.xml 文件

2.3 启动 Hadoop 和 YARN

2.4 浏览器访问

三、YARN的常用命令

3.1 启动和停止 YARN

3.2 查看和管理应用程序

3.3 查看和管理节点

3.4 查看和管理队列

3.5 查看和管理资源

3.6 查看和管理应用

一、Hadoop YARN介绍

        Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的资源管理层，负责管理和分配集群中应用程序的资源。在单节点上设置Hadoop YARN时，通常是为了开发或测试目的，因为单节点设置无法提供多节点集群所具有的容错性和可扩展性优势。

二、单节点配置YARN

        参考Hadoop：单机伪分布式部署 部署单机版hadoop后，再按以下步骤配置单机版YARN。

2.1 配置yarn-site.xml 文件

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 需要指定webapp IP，否则单机版yarn，其他主机无法访问 -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.179.141:8088</value>
    </property>
</configuration>

2.2 配置 mapred-site.xml 文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

2.3 启动 Hadoop 和 YARN

start-dfs.sh
start-yarn.sh

2.4 浏览器访问

三、YARN的常用命令

3.1 启动和停止 YARN

#### 启动 YARN
start-yarn.sh

#### 停止 YARN
stop-yarn.sh

3.2 查看和管理应用程序

#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>

3.3 查看和管理节点

#### 列出所有节点的信息
yarn node -list

#### 查看特定节点的详细信息
yarn node -status <node-id>

3.4 查看和管理队列

#### 列出所有队列的信息
yarn queue -list all

#### 查看特定队列的详细信息
yarn queue -info <queue-name>

3.5 查看和管理资源

#### 查看集群资源的使用情况
yarn top

#### 查看特定应用程序的资源使用情况
yarn application -status <application-id>

3.6 查看和管理应用

#### 提交一个 MapReduce 作业
hadoop jar <path-to-jar> <main-class> <input-path> <output-path>

#### 提交一个通用 YARN 应用程序
yarn jar <path-to-jar> <main-class> <arguments>

#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>

相关文章