文件名称：bireme：Bireme是Greenplum HashData数据仓库的增量同步工具
文件大小：204KB
文件格式：ZIP
更新时间：2024-02-24 04:34:25
mysql synchronization kafka incremental postgresql
Bireme Bireme是用于Greenplum / HashData数据仓库的增量同步工具。 目前，它支持MySQL，PostgreSQL和MongoDB数据源。 是一个高级的，功能齐全的开源数据仓库，可对PB数据量进行强大而快速的分析。 它面向大数据分析，具有独特的方向，并得到世界上最先进的基于成本的查询优化器的支持。 它可以对大量数据提供高查询性能。 是基于Greenplum构建的灵活的云数据仓库。 Bireme使用DELETE + COPY将数据源的修改记录同步到Greenplum / HashData。 此模式比INSERT + UPDATE + DELETE更快更好。 功能和限制： 使用小批量加载来增强数据同步的性能。 默认的加载延迟时间是10秒。 所有表在目标数据库中必须具有主键。 1.1数据流 Bireme支持多个数据源的同步工作。 它可以同时并行地从多个数据源读取记录，并将记录加载到目标数据库。 1.2数据源 1.2.1麦克斯韦+卡夫卡 Maxwell + Kafka是bireme当前支持的数据源类型。 结构如下： 是一个读取MySQL二进制日志并将
【文件预览】：
bireme-master
----.travis.yml(487B)
----bin()
--------bireme(4KB)
----pom.xml(7KB)
----docs()
--------bireme_guide_zh-cn.md(5KB)
--------data_flow.png(17KB)
--------bireme_guide.md(6KB)
--------bireme.png(30KB)
--------debezium.png(20KB)
--------pipeline.png(44KB)
--------maxwell.png(17KB)
----_config.yml(29B)
----integration_test()
--------sqldump.py(3KB)
--------test.sh(531B)
--------maxwell()
--------debezium()
----bireme_tpcc_test()
--------parallel_load.sh(644B)
--------init.sh(255B)
--------tpcc_test.md(2KB)
--------sqlCheckSum.py(3KB)
--------create_table_index.sql(4KB)
--------source.sh(2KB)
--------compare.py(1009B)
----src()
--------test()
--------main()
----.clang-format(3KB)
----.gitignore(364B)
----README.md(7KB)
----scripts()
--------format.sh(514B)
--------setup-eclipse.sh(117B)
--------eclipse-java-google-style.xml(35KB)
----etc()
--------maxwell1.properties(107B)
--------debezium1.properties(79B)
--------config.properties(2KB)
----LICENSE.txt(13KB)
----README_zh-cn.md(6KB)