文件名称：ResourceManager中的ResourceEstimator框架介绍与算法剖析
文件大小：555KB
文件格式：PDF
更新时间：2024-03-16 18:13:35
ResourceManager中的ResourceEstimator框架介绍与算法剖析
估计作业运行使用资源是大数据处理集群的一个重要且具有挑战性的问题。随着用户使用的集群资源越来越多，这一需求被逐渐放大。当前现有的解决方案一般是依赖于用户的经验来对作业资源需求进行估计，这样即繁琐又低效。根据对集群工作负载的分析，可以发现大部分工作(超过60%)是重复工作，这样我们便有机会根据作业历史资源使用情况来估计作业下一次的资源需求量。同时，在未来，希望能提出一种与框架无关的黑盒解决方案。这样，即使作业来自不同的计算框架，我们也能对重复性作业进行资源需求估算。Hadoop-resourceestimator主要由三个模块组成：Translator，SkylineStore和Estimato