文件名称：基于Storm平台的多任务分组调度策略与实现
文件大小：900KB
文件格式：PDF
更新时间：2024-05-26 05:41:52
Apache storm平台 分布式 流式计算 拓扑
随着大数据与人工智能技术的飞速发展, 高性能, 实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统. Apache storm作为一款开源, 高容错, 实时处理的分布式大数据流式计算平台, 支持任务平均分配策略, 单机任务指定策略等多种任务分配方案. 当任务拓扑结构中存在多个任务时, 且集群中只有某些机器支持某一任务执行时, 传统的任务调度方法只能实现将单一的任务分配给单一指定的机器, 使得整个集群的资源没有充分的利用. 通过调整任务调度策略, 获得满足条件的机器队列, 查看机器队列中可用工作节点, 将指定任务均匀分配给可用工作节点, 其他任务仍通过默认策略分配给集群中的剩余机器, 实现多任务的分组调度策略.