yarn中的container之我见

时间:2022-11-09 09:18:57

下面只是帮助理解的说法,有什么错误希望大家指正

之前一直很困惑,为什么在yarn上能执行storm,spark这样的框架呢,他们是怎么运行的呢,我想对这个有困惑的朋友应该不止我一个,在这里向大家推荐一本书:hadoop技术内幕-yarn详解

第一点:什么是分配资源,表面上将就是你可以使用的资源量,但在分布式系统中,你怎么限制呢:其实分配的资源就是一个个的key-value对:  

cpu=1个

ram=2G

第二点:只是分配了,怎么运行呢:这得益于JVM的好处,在jvm启动的啥时候,我们可以设置其所占用的资源,而之上所讲的key-vlaue在这里也就变成了jvm的启动参数了



特此声明:在研究hadoop,spark这类框架的时候,只要涉及到资源的分配什么的,这都是进程级别的事,线程和进程的区别说个通俗易懂的:进程就是内存区域,而线程是这块内存区域中的执行代码