【文件属性】：
文件名称：synch：将其他数据库中的数据同步到ClickHouse（集群）
文件大小：300KB
文件格式：ZIP
更新时间：2021-02-02 17:32:00
mysql kafka replication clickhouse postgresql
同步
介绍
将其他数据库中的数据同步到ClickHouse，当前支持postgres和mysql，并支持完整和增量ETL。
产品特点
完整数据etl和实时增量etl。
支持DDL和DML同步，当前支持DDL的add column ， drop column和change column ，还完全支持DML。
电子邮件错误报告。
支持kafka和redis作为代理。
多个源数据库同时同步到ClickHouse。
支持ClickHouse MergeTree ， CollapsingMergeTree ， VersionedCollapsingMergeTree ， ReplacingMergeTree 。
支持ClickHouse集群。
要求
Python> = 3.7
，缓存mysql binlog文件和位置，并作为代理，也支持redis集群。
，如果您使用kafka作为代理，则需要。
，如果您使用postgres并设置auto_full_etl = true ，则需要执行此命令，或者执行exec synch etl命令。
如果在配置中设置dsn ，则，错误报告
【文件预览】：
synch-master
----poetry.lock(41KB)
----pyproject.toml(1KB)
----images()
--------alipay.jpeg(75KB)
--------wechatpay.jpeg(76KB)
--------synch.png(152KB)
--------jetbrains.svg(5KB)
----README-zh.md(7KB)
----.github()
--------workflows()
----conftest.py(2KB)
----Dockerfile(210B)
----tests()
--------test_postgres.py(433B)
--------test_sql_convent.py(3KB)
--------__init__.py(0B)
--------test_mysql.py(508B)
--------test_writer.py(2KB)
--------docker-compose.yml(921B)
--------test_etl.py(1024B)
--------test_settings.py(274B)
--------test_mysqlparser.py(2KB)
----LICENSE(11KB)
----setup.cfg(67B)
----docker-compose-kafka.yml(1KB)
----docker-compose.yml(488B)
----.gitignore(2KB)
----CHANGELOG.md(2KB)
----Makefile(940B)
----.dockerignore(2KB)
----synch.yaml(4KB)
----README.md(8KB)
----synch()
--------common.py(2KB)
--------redis.py(2KB)
--------cli.py(4KB)
--------enums.py(407B)
--------__init__.py(0B)
--------settings.py(3KB)
--------factory.py(6KB)
--------replication()
--------convert.py(4KB)
--------reader()
--------writer()
--------broker()
--------exceptions.py(132B)