Cobar分布式数据库的应用与实践

时间:2022-01-17 04:13:58

最新文章:看我如何快速学习.Net(高可用数据采集平台)高并发数据采集的架构应用(Redis的应用)

问题点:

      随着项目的增长,数据和数据表也成倍的增长,普通的单点数据库已经无法满足日常的增长的需要。为了能够给开发者提供透明化的数据库应用,也为了有益于项目的扩展、维护和应用,迫切需要分布式数据库的解决方案。

解决方案:

   1.  Mysql Cluster :Mysql官方提供分布式集群的解决方案之一、具有较强的权威性。

   2. Cobar: Taobao提供的分布式数据库的解决方案,经过一定的实践证明、简单易用,并且可以自定义分割算法。

   3. 爱可生: MySQL分布式集群服务框架, 国内领先的开源数据库软件、数据平台整体解决方案和服务提供商。

   4. Percona XtraDB Cluster 5.6: Percona提供,基于Mysql的另一分支优化过的数据库集群的解决方案。

   5. 以及其它分布式数据库解决方案: 新浪、MySQL federated 引擎、Amoeba等。

   基于以上较多的分布式解决方案,还是选择了淘宝的Cobar、开源而且经过实践证明已经足够满足日常的需要。

 


配置和应用:

     1.下载 :https://github.com/alibaba/cobar/wiki

    2. 安装:1). Cobar是基于Java开发的分布式数据库应用,所以安装Cobar首先要安装JAVA JRE。

               2).  解压,拷贝过去,运行startup.sh即可。

    3.配置:

           1)Server.xml 服务器配置

<user name="mysql">
<property name="password">mysql</property>
<property name="schemas">data_acquisition_server</property>
</user>

连接用户名、密码配置,客户端连接登入验证。schemas 主要对应schema.xml的定义。

          2) Schema.xml 数据节点、数据表拆分配置

<!-- schema定义 -->
<schema name="data_acquisition_server" dataNode="dnDataAcquisitionMaster">
<table name="task" dataNode="dnDataAcquisitionChunk1,dnDataAcquisitionChunk2" rule="rule1" />
<table name="task_upload" dataNode="dnDataAcquisitionChunk1,dnDataAcquisitionChunk2" rule="rule1" />
<table name="task_source" dataNode="dnDataAcquisitionChunk1,dnDataAcquisitionChunk2" rule="rule1" />
</schema>

<!-- 数据节点定义,数据节点由数据源和其他一些参数组织而成。-->
<dataNode name="dnDataAcquisitionMaster">
<property name="dataSource">
<dataSourceRef>dsServer[0]</dataSourceRef>
</property>
</dataNode>
<dataNode name="dnDataAcquisitionChunk1">
<property name="dataSource">
<dataSourceRef>dsServer[1]</dataSourceRef>
</property>
</dataNode>
<dataNode name="dnDataAcquisitionChunk2">
<property name="dataSource">
<dataSourceRef>dsServer[2]</dataSourceRef>
</property>
</dataNode>

<!-- 数据源定义,数据源是一个具体的后端数据连接的表示。-->
<dataSource name="dsServer" type="mysql">
<property name="location">
<location>127.0.0.1:3306/db_data_acquisition_master</location>
<location>127.0.0.1:3306/db_data_acquisition_chunk1</location>
<location>127.0.0.1:3306/db_data_acquisition_chunk2</location>
</property>
<property name="user">root</property>
<property name="password">123456</property>
<property name="sqlMode">STRICT_TRANS_TABLES</property>
</dataSource>

         3) Rule.xml 数据拆分算法配置

<!-- 路由规则定义,定义什么表,什么字段,采用什么路由算法 -->
<tableRule name="rule1">
<rule>
<columns>id</columns>
<algorithm><![CDATA[ func1(${id}) ]]></algorithm>
</rule>
</tableRule>

<!-- 路由函数定义 -->
<function name="func1" class="com.alibaba.cobar.route.function.PartitionByLong">
<property name="partitionCount">2</property>
<property name="partitionLength">512</property>
</function>

 

         4) 数据表创建

   数据库:db_data_acquisition_master、db_data_acquisition_chunk1、db_data_acquisition_chunk2

   数据表:1)db_data_acquisition_chunk1:task、task_source、task_upload

             2)db_data_acquisition_chunk2:task、task_source、task_upload

  当前的拆分规则、所有的表必需要有id但不能是自增长的。

 

   4 客户端连接

          可以使用任一Mysql连接工具进行连接,端口号为:8066

 

总结:

    现在的技术感觉越做越薄,多关注开源的解决方案,却成为必要的一项工作技能了。