文件名称:airflow_demo:Airflow Databricks集成演示
文件大小:14KB
文件格式:ZIP
更新时间:2024-04-15 16:16:32
Databricks气流演示 这是Databricks Airflow集成的演示,该集成利用有向无环图(DAG)编排和调度作业。 目录 要求 Databricks帐户 气流服务器 访问云存储或DBFS 设置 安装Airflow Databricks集成 运行以下命令以安装带有databricks集成的气流。 有关更多详细信息,请参见。 $ pip3 install "apache-airflow[databricks]" 获取Databricks令牌 可以从Databricks工作区获取databricks个人访问令牌。 请按照 详细说明进行操作。 设置气流 在本次研讨会中,我们将使用本地气流实例。 初始化数据库 运行以下命令以初始化气流数据库。 有关更多信息,请参见。 $ cd airflow $ airflow db init 设置气流用户 运行以下命令来设置气流用户。 $ cd
【文件预览】:
airflow_demo-main
----src()
--------README.md(74B)
----LICENSE(34KB)
----README.md(3KB)