yarn集群的搭建

时间:2024-03-19 19:42:30

大数据中除了hadoop集群外,还有个yarn集群,这个集群用来处理各种计算任务需要分配的cup和内存。

yarn集群的搭建
1)首先配置yarn-site.xml文件

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>bigdata121</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

yarn进程有两个,一个是ResourceManager,一个是Node Manager
第一个property是配置哪个节点执行ResourceManager进程。
我们最好把Resource Manager进程和NameNode进程放在一个节点执行。

2)配置slaves文件

在这个文件里配置所有Node Manager进程的节点名称,也就是Data Node。

bigdata123
bigdata124
bigdata125

3)启动yarn集群
在sbin目录下找到start-yarn.sh执行。

4)检测是否启动成功
在主节点输入jps,如果有Resource Manager进程,在DataNode节点输入jps,有Node Manager进程,则启动成功。

5)web页面查看
yarn提供了web页面,查看任务执行情况
http://192.168.252.121:8088
这里输入对应的主节点ResourceManager进程的主机IP,端口号是8088.

yarn集群的搭建