文件名称：big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
文件大小：3.84MB
文件格式：ZIP
更新时间：2024-06-02 07:26:29
spark hadoop flink Java
Big Whale 巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发，打包后即可运行。 概述 1.架构图 2.特性 基于SSH的脚本执行机制，部署简单快捷，仅需单个服务 基于Yarn Rest Api的任务状态同步机制，对Spark、Flink无版本限制 支持分布式 支持失败重试 支持任务依赖 支持复杂任务编排（DAG） 支持流处理任务运行管理和监控 支持Yarn应用管理 部署 1.准备 Java 1.8+ Mysql 5.1.0+ 下载项目或git clone项目 为解决 github README.md 图片无法正常加载的问题，请在hosts文件中加入相关域名解析规则，参考： 2.安装 创建