文件名称：airflow_demo:使用Sqoop从Mysql向Hive导入增量数据的Airflow脚本
文件大小：9KB
文件格式：ZIP
更新时间：2024-06-03 17:07:19
Java
代码演示，如何编写基本的Airflow以实现从Mysql到Hive的增量导入。 ＃问题陈述：-MySQL具有名为'employee_profile'的表，该表具有雇员信息，包括名字，姓氏和SSN。 脚本应检查表中是否有新记录和修改过的记录，并使用修改后的更新记录更新相应的配置单元表，并且配置单元中还应具有带有屏蔽的社会安全号（SSN）的附加表。 使用Sqoop实现增量导入，并使用Airflow自动化该过程。 1）设定数据 我）在MySQL中创建表 CREATE TABLE `employee_profile` ( `profile_id` VARCHAR(255) NOT NULL, `first_name` VARCHAR(45) NULL, `last_name` VARCHAR(45) NULL, `modified_date` DATETIME NULL, `
【文件预览】：
airflow_demo-master
----sqoop_merge.sh(365B)
----sqoop_incremental.sh(432B)
----employee_profile.java(18KB)
----masking.jar(2KB)
----README.md(6KB)
----incremental.py(2KB)
----Masking.java(531B)