列式数据库~clickhouse 副本集架构的搭建

clickhouse 搭建副本集

一原理:
1 依赖ZK,ZK的基础上，ZK存储数据库元数据

2 使用复制表引擎创建复制表,包括ZK路径和副本名,相同ZK路径的表可以相互复制

3 复制表本身拥有数据校验功能,保证数据一致,推荐复制的最佳方案

4 复制最大的速度基本等于机器网卡的最大上限

5 一般创建表的副本名基本都是本机的域名或者IP,这样便于观察和记录

二注意点:
1 不会同步DDL操作,所以要预先创建表
2 会进行双向全量同步,但是数据写入只会在单点写入,类似mysql的双主单写架构
3 ZK配置文件要写在config文件中,其他写入在/etc/metrika.xml中
4 复制引擎为ReplicatedMergeTree

5 任何情况下,不建议修改ZK的元数据。
三配置文件 /etc/metrika.xml
<remote_servers incl="clickhouse_remote_servers" >
<remote_servers>
<distable>
<shard>

<weight>1</weight>//权重

<internal_replication>true</internal_replication>//单向写表
<replica>
<host>ip1</host>
<port>9000</port>
</replica>
<replica>
<host>ip2</host>
<port>9001</port>
</replica>
</shard>
</distable>
</remote_servers>
</remote_servers>
<clickhouse_compression> //压缩
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
配置文件/etc/config
<zookeeper>
<node index="1">
<host>ZK_IP</host>
<port>2181</port>
</node>
</zookeeper>

<interserver_http_host>本机IP</interserver_http_host>//添加IP绑定

<listen_host>::1</listen_host>

<listen_host>本机IP </listen_host>

这里一定要写在config里.不然不生效.我也是测试之后才发现的。。
四创建复制引擎表
节点1
CREATE TABLE aa ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-01/aa','IP1') ORDER BY id AS SELECT * FROM mysql('IP:prot', 'db', 'table', 'user', 'password') ;
因为create表操作不会同步
所以
根据/data/clickhouse/metadata/db/table.sql
节点2
CREATE TABLE aa
(
id UInt32,
uid UInt32,
repay_date Date,
repay_amount String,
type Int8,
loan_id String
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-01/aaa', 'IP1')//这里的IP1改成IP2
ORDER BY id
SETTINGS index_granularity = 8192;
clickhouse -d db < table.sql
然后观察即可,可以发现速度很快,这也是clickhouse的优势,同步秒级
五 ReplicatedMergeTree 引擎介绍
非同步选项
CREATE,DROP,ATTACH,DETACH and RENAME(针对分区表操作)
同步选项
insert 大部分DDL操作,包括列的操作,delete操作(只针对int类型,补充全表删除 alter table delete where 1=1)

ALTER支持选项

ADD COLUMN, DROP COLUMN, CLEAR COLUMN, MODIFY COLUMN, MODIFY PRIMARY KEY, ATTACH PARTITION, DETACH PARTITION, DROP PARTITION, ATTACH PART, FETCH PARTITION, FREEZE PARTITION, DELETE WHERE, REPLACE PARTITION, ON
六监控
select table,zookeeper_path,active_replicas,total_replicas from replicas;
通过对比table和total_replicas的对比,可以发现哪些表没有同步
通过对比active_replicas,total_replicas 可以发现集群服务是否都正常
七伸缩节点
对于clickhouse副本集的节点伸缩

1 修改配置文件,而定义集群的XML文件是可以热加载的,所以非常方便

2 如果节点宕机，并且可恢复，重启后无需关注，CH会自动同步

3 如果节点宕机，且不可恢复，需要更换新的机器，新增节点,ZK路径毫无疑问需要一致，分片名称务必不能一致,需要更改副本名
八补充
1 副本集可以扩展成分片集群.需要定义shard标签
2 对于不同步的语句要记得双向操作
3 对于单节点引擎的效率对比,明天将会给出结果

秒客网

列式数据库~clickhouse 副本集架构的搭建

相关文章