文件名称：java连接sqoop源码-Azure_Data_pipeline:带有azureDataFactory、LogicApp和Hdinsight
文件大小：62KB
文件格式：ZIP
更新时间：2024-07-05 10:48:23
系统开源
java连接sqoop源码带有 azure Data Factory、Logic App 和 Hdinsight 的数据管道，用于示例 covid 案例架构 掌握使用 Azure 创建自动化管道的艺术 大家好，女士们先生们早上好，虽然这个开始有点陈词滥调，但谁在乎通过这条线我下面有更多有趣的东西。 所以伙计们，几乎每个人在这次*中学到的一件事就是学会制作美味的食物，嗯！！ 并学习了其中一项云服务。 如果您还没有学会这两个，请不要担心，我在这里为您服务。 今天我们将制作一个美味可口的成熟 ETL 管道，它的工作原理与我们的食物管道完全相同，但它仅用于您的日常数据。 为了使我们的 ETL 管道成为我们需要的前两件事，我们需要一个 azure 帐户和一个资源组，如果我们有信用卡，我们可以免费创建它们，否则您也可以使用贵公司的帐户。 我的示例管道的架构图如下所示： 我们将在管道中覆盖的技术堆栈如下： =>存储帐户创建blob存储容器来存储输入数据 => Azure 数据工厂来创建、调度和监控我们的管道 =>SQL Storage 创建一个 SQL 服务器数据库来存储我们输入的 OLTP 数据
【文件预览】：
Azure_Data_pipeline-main
----README.md(14KB)
----MyJarFile.jar(2KB)
----parameters.json(753B)
----LICENSE(1KB)
----hiveDml.hql(447B)
----architecture.png(24KB)
----adf_pipeline_snapshot.png(16KB)
----CreateAJarFile.java(2KB)
----template.json(35KB)
----sample_Dataset()
--------06-02-20.csv(148B)
--------10-02-20.csv(149B)
--------17-02-20.csv(149B)
--------11-02-20.csv(149B)
--------09-02-20.csv(149B)
--------08-02-20.csv(149B)
--------28-02-20.csv(149B)
--------01-02-20.csv(148B)
--------29-02-20.csv(149B)
--------05-02-20.csv(148B)
--------24-02-20.csv(149B)
--------22-02-20.csv(149B)
--------14-02-20.csv(149B)
--------26-02-20.csv(149B)
--------18-02-20.csv(149B)
--------15-02-20.csv(149B)
--------23-02-20.csv(149B)
--------13-02-20.csv(149B)
--------21-02-20.csv(149B)
--------27-02-20.csv(149B)
--------07-02-20.csv(148B)
--------02-02-20.csv(148B)
--------12-02-20.csv(149B)
--------25-02-20.csv(149B)
--------20-02-20.csv(149B)
--------16-02-20.csv(149B)
--------19-02-20.csv(149B)
--------04-02-20.csv(148B)
--------03-02-20.csv(148B)