阿里云数据工厂DataWorks
DataWorks(数据工场,原大数据开发套件)是阿里云数加重要的PaaS平台产品,它提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。
DataWorks(数据工场)基于MaxCompute作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力。
DataWorks和MaxCompute关系紧密,DataWorks为MaxCompute提供一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
使用DataWorks,可对数据进行数据传输、数据转换等相关操作,从不同的数据存储引入数据,对数据进行转化处理,最后将数据提取到其他数据系统。完成整个数据的分析流程,如下图所示:
功能概述
全面托管的调度
提供强大的调度能力,支持按照时间、依赖关系的任务触发机制,支持每日千万级别的任务按照DAG关系准确、准时运行。支持分钟、小时、天、周和月多种调度周期配置。完全托管的服务,无需关心调度服务器资源问题。租户之间提供隔离,保证不同租户之间的任务不会相互影响。
支持多种任务类型
支持数据同步、SHELL、MaxCompute SQL、MaxCompute MR等多种任务类型,通过任务之间的相互依赖完成复杂的数据分析处理。
1.数据转化能力依托MaxCompute强大的能力,保证了大数据的分析处理性能。
2.数据同步能够依托DataWorks>数据集成的强力支撑,支持多达20+数据源,提供稳定高效的数据传输。
可视化开发
提供可视化的代码开发、工作流设计器页面,无需搭配任何开发工具,简单的拖拽和开发就可以完成复杂的数据分析任务。只要有浏览器有网络,便可随时随地进行开发工作。
监控告警
运维中心提供可视化的任务监控管理工具,支持以DAG图的形式展示任务运行时的全局情况。可方便地配置短信报警,任务发生错误可及时通知相关同学,保证业务正常运行。
约束与限制
仅支持Chrome浏览器54以上版本。
目前无法支持SQL运行在阿里云云数据库、阿里云分析型数据库等产品,仅支持MaxCompute。
对大数据产品有需求的用户请加“云特快”微信号:qwe521378,领取阿里云大数据产品优惠券。