大数据中除了hadoop集群外,还有个yarn集群,这个集群用来处理各种计算任务需要分配的cup和内存。
1)首先配置yarn-site.xml文件
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata121</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
yarn进程有两个,一个是ResourceManager,一个是Node Manager
第一个property是配置哪个节点执行ResourceManager进程。
我们最好把Resource Manager进程和NameNode进程放在一个节点执行。
2)配置slaves文件
在这个文件里配置所有Node Manager进程的节点名称,也就是Data Node。
bigdata123
bigdata124
bigdata125
3)启动yarn集群
在sbin目录下找到start-yarn.sh执行。
4)检测是否启动成功
在主节点输入jps,如果有Resource Manager进程,在DataNode节点输入jps,有Node Manager进程,则启动成功。
5)web页面查看
yarn提供了web页面,查看任务执行情况
http://192.168.252.121:8088
这里输入对应的主节点ResourceManager进程的主机IP,端口号是8088.