文件名称：Binlog2Hive:MySQL增量数据实时同步到HDFSHive
文件大小：25KB
文件格式：ZIP
更新时间：2024-05-19 02:27:55
Java
项目背景 RDS的数据实时同步到HDFS下，并映射到Hive 原理 通过解析RDS的binlog将RDS的增量数据同步到HDFS下，并映射加载到Hive外部分区表 由于RDS表中的第二个字段都为datetime字段，所以刚才以该字段作为Hive的分区字段 配置文件介绍 doc/creat table.sql：Hive表的建表语句，除了静态表外，其他全部为天级别外部分区表 binglog2Hive_conf.properties:里面为所有全部需要同步到HDFS的表 mysql.properties:Mysql druid连接池配置 程序说明 binlog解析框架： 核心类为BinlogClient 程序主要序列化以下几个事件 TABLE_MAP：包括表名，数据库名 WRITE_ROWS：包含增量的业务记录 程序启动时会先从t_position表中获取上次的同步状态，根据上次的同步状态来确定
【文件预览】：
Binlog2Hive-master
----pom.xml(5KB)
----src()
--------test()
--------main()
----doc()
--------CREATE_TABLE.sql(470B)
----README.md(2KB)
----Binlog2Hive.iml(10KB)