大数据-251 离线数仓 - Airflow 任务调度系统 安装部署测试

时间：2024-12-18 07:29:45

点一下关注吧！！！非常感谢！！持续更新！！！

Java篇开始了！

目前开始更新 MyBatis，一起深入浅出！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（已更完）
  • Kylin（已更完）
  • Elasticsearch（已更完）
  • DataX（已更完）
  • Tez（已更完）
  • 数据挖掘（已更完）
  • Prometheus（已更完）
  • Grafana（已更完）
  • 离线数仓（正在更新…）

章节内容

  • ADS层
  • Airflow 任务调度系统基本介绍

在这里插入图片描述

Airflow 基本介绍

Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。

Airflow 的特点

以代码为中心

Airflow 使用 Python 定义 DAG，提供灵活性和可编程性。

扩展性强

用户可以自定义 Operator 和 Hook，集成各种数据源和工具。

强大的 UI 界面

提供可视化界面监控任务状态、查看日志、重试失败任务等。

丰富的调度选项

支持基于时间 (Time-based) 和事件 (Event-based) 的调度。

高可用性

配合 Celery 和 Kubernetes 等执行器，支持分布式架构，适合处理大规模任务。

使用场景

数据管道调度

用于管理数据从源到目标的 ETL 流程。
如每天从数据库中抽取数据、清洗后存入数据仓库。

机器学习工作流管理

调度数据预处理、模型训练和模型部署任务。

数据验证

自动化检查数据的质量和一致性。

定期任务自动化

定时清理日志、归档数据或生成报告。

Airflow安装部署

安装依赖

  • CentOS 7.x
  • Python 3.5 以上版本
  • MYSQL 5.7.x
  • Apache-Airflow 1.10.11
  • 虚拟机可上网，需要在线安装包

备注：后面要安装三个软件Airflow、Atlas、Griffin，相对Hadoop的安装都较为复杂

  • 正式安装软件之前给虚拟机做一个快照
  • 按照讲义中指定的软件安装
  • 按照讲义的步骤执行对应的命令，命令的遗漏会对后面的安装造成影响
pip install apache-airflow -i https://pypi.tuna.tsinghua.edu.cn/simple

# 后续不一定需要 如果报错 根据缺少的依赖补齐即可
# 不一定需要
pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple
# 不一定需要
pip install SQLAlchemy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装过程如下所示：
在这里插入图片描述

环境变量

# 设置目录（配置文件）
# 添加到配置文件/etc/profile。未设置是缺省值为 ~/airflow
export AIRFLOW_HOME=/opt/servers/airflow

配置的结果如下所示：
在这里插入图片描述

初始化环境

airflow initdb

执行结果如下所示：
在这里插入图片描述

此时我们修改配置文件：

vim /opt/servers/airflow/airflow.cfg

查看 sql_alchemy_conn，修改一下内容：
在这里插入图片描述

mysql://hive:hive%%40wzk.icu@h122.wzk.icu:3306/airflow_db

修改的内容如下所示：
在这里插入图片描述
修改之后，保存，重新执行初始化操作（需要在数据库中确认已经建立了 airflow_db）

airflow db init

可以看到顺利的执行执行了
在这里插入图片描述

查看数据库

可以看到数据库中的表已经通过刚才的指令生成出来了：
在这里插入图片描述

创建用户

airflow users create \
   --username wzkicu \
   --firstname wzk \
   --lastname icu \
   --role Admin \
   --email airflow@wzk.icu

生成结果如下图所示：
在这里插入图片描述

启动服务

airflow scheduler -D
airflow webserver -D

启动结果如下图：
在这里插入图片描述
启动结果如下图：
在这里插入图片描述

访问服务

http://h122.wzk.icu:8080

可以看到访问结果如下所示：
在这里插入图片描述
输入刚才创建的账号和密码：
在这里插入图片描述

Web界面

在这里插入图片描述

  • Trigger Dag：人为执行触发
  • TreeView：当dag执行的时候，可以点入，查看每个Task的执行状态（基于树状视图），状态：success、running、failed、skipped、retry、queued、no status
  • Graph View：基于图视图（有向无环图） 查看每个Task的执行状态
  • Tasks Duration：每个Task的执行时间统计，可以选择最近多少次执行
  • Task Tries：每个Task的重试次数
  • Gantt View：基于甘特图的视图，每个Task的执行状态
  • Code View：查看任务执行代码
  • Logs：查看执行日志，比如失败原因
  • Refresh：刷新dag任务
  • DELETE Dag：删除该Dag任务

相关文章