mybatis: 利用多数据源实现分库存储

时间：2023-11-17 08:32:50

之前写过一篇mybatis 使用经验小结 提到过多数据源的处理方式，虽然简单但是姿势不太优雅，今天介绍一些更美观的办法：

spring中有一个AbstractRoutingDataSource的抽象类可以很好的支持多数据源，我们只需要继续它即可。

package com.cnblogs.yjmyzz.utils;

import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;

public class RoutingDataSource extends AbstractRoutingDataSource {

    @Override

    protected Object determineCurrentLookupKey() {

        return DBContext.getDBKey();

    }

}

很简单，就一个方法。其中DBContext的代码如下：

package com.cnblogs.yjmyzz.utils;

public class DBContext {

    //define count of database and it must match with resources/properties/jdbc.properties

    private static final int DB_COUNT = 2;

    private static final ThreadLocal<String> tlDbKey = new ThreadLocal<String>();

    public static String getDBKey() {

        return tlDbKey.get();

    }

    public static void setDBKey(String dbKey) {

        tlDbKey.set(dbKey);

    }

    public static String getDBKeyByUserId(int userId) {

        int dbIndex = userId % DB_COUNT;

        return "db_" + (++dbIndex);

    }

}

主要利用了ThreadLocal这个类在每个线程中保持自己私有的变量。

这里我模拟了一个分库的场景：假设一个应用允许用户注册，但是用户数量太多，全都放在一个数据库里，记录过多，会导致数据库性能瓶颈，比较容易想到的办法，把用户的数据分散到多个数据库中保存（注：可能马上有同学会说了，分开存了，要查询所有用户怎么办？这确实是分库带来的一个弊端，但也有相应的解决方案，本文先不讨论这个，以免跑题）。

假设我们有二个数据库，里面的表结构完全相同，有一张表T_USER用于保存用户数据，问题来了，如果有N个用户要注册，id分别是1、2、3...，服务端接到参数后，怎么知道把这些数据分别插入到这二个库中，必然要有一个规则 ，比较简单的办法就是取模，所以上面的getDBKeyByUserId就是干这个的。

然后是jdbc的属性配置文件：

jdbc-driver=com.mysql.jdbc.Driver

jdbc-key-1=db_1

jdbc-url-1=jdbc:mysql://default:3306/db_1?useUnicode=true&characterEncoding=utf8

jdbc-user-1=test

jdbc-password-1=123456

jdbc-key-2=db_2

jdbc-url-2=jdbc:mysql://default:3306/db_2?useUnicode=true&characterEncoding=utf8

jdbc-user-2=test

jdbc-password-2=123456

接下来是spring的配置文件：

 <?xml version="1.0" encoding="UTF-8"?>

 <beans xmlns="http://www.springframework.org/schema/beans"

        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

        xmlns:context="http://www.springframework.org/schema/context"

        xsi:schemaLocation="http://www.springframework.org/schema/beans

        http://www.springframework.org/schema/beans/spring-beans.xsd

          http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">

     <context:annotation-config/>

     <context:component-scan base-package="com.cnblogs.yjmyzz"/>

     <bean id="propertiesFactoryBean"

           class="org.springframework.beans.factory.config.PropertiesFactoryBean">

         <property name="locations">

             <list>

                 <value>classpath:properties/jdbc.properties</value>

             </list>

         </property>

     </bean>

     <context:property-placeholder properties-ref="propertiesFactoryBean" ignore-unresolvable="true"/>

     <bean id="parentDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init"

           destroy-method="close">

         <property name="driverClassName" value="${jdbc-driver}"/>

         <property name="url" value="${jdbc-url-1}"/>

         <property name="username" value="${jdbc-user-1}"/>

         <property name="password" value="${jdbc-password-1}"/>

         <property name="filters" value="stat"/>

         <property name="maxActive" value="20"/>

         <property name="initialSize" value="1"/>

         <property name="maxWait" value="60000"/>

         <property name="minIdle" value="1"/>

         <property name="timeBetweenEvictionRunsMillis" value="3000"/>

         <property name="minEvictableIdleTimeMillis" value="300000"/>

         <property name="validationQuery" value="SELECT 'x'"/>

         <property name="testWhileIdle" value="true"/>

         <property name="testOnBorrow" value="false"/>

         <property name="testOnReturn" value="false"/>

         <property name="poolPreparedStatements" value="true"/>

         <property name="maxPoolPreparedStatementPerConnectionSize" value="20"/>

         <property name="connectionInitSqls" value="set names utf8mb4;"/>

     </bean>

     <bean id="dataSource1" parent="parentDataSource">

         <property name="url" value="${jdbc-url-1}"/>

         <property name="username" value="${jdbc-user-1}"/>

         <property name="password" value="${jdbc-password-1}"/>

     </bean>

     <bean id="dataSource2" parent="parentDataSource">

         <property name="url" value="${jdbc-url-2}"/>

         <property name="username" value="${jdbc-user-2}"/>

         <property name="password" value="${jdbc-password-2}"/>

     </bean>

     <!-- config switch routing db -->

     <bean id="dataSource" class="com.cnblogs.yjmyzz.utils.RoutingDataSource">

         <property name="targetDataSources">

             <map key-type="java.lang.String">

                 <entry key="${jdbc-key-1}" value-ref="dataSource1"/>

                 <entry key="${jdbc-key-2}" value-ref="dataSource2"/>

             </map>

         </property>

     </bean>

     <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">

         <property name="configLocation" value="classpath:mybatis-config.xml"></property>

         <property name="dataSource" ref="dataSource"/>

         <property name="mapperLocations">

             <array>

                 <value>classpath:mybatis/*.xml</value>

             </array>

         </property>

     </bean>

     <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">

         <property name="basePackage" value="com.cnblogs.yjmyzz.mapper"/>

     </bean>

 </beans>

关键的是parentDataSource,dataSource1,dataSource2,dataSource这几个bean的配置，一看就懂。

服务端的核心代码：

package com.cnblogs.yjmyzz.service.impl;

import com.cnblogs.yjmyzz.entity.UserEntity;

import com.cnblogs.yjmyzz.mapper.UserEntityMapper;

import com.cnblogs.yjmyzz.service.UserService;

import com.cnblogs.yjmyzz.utils.DBContext;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

/**

 * Created by yangjunming on 2/15/16.

 * author: yangjunming@huijiame.com

 */

@Service("userService")

public class UserServiceImpl implements UserService {

    @Autowired

    UserEntityMapper userEntityMapper;

    @Override

    public void addUser(UserEntity userEntity) {

        //switch db

        DBContext.setDBKey(DBContext.getDBKeyByUserId(userEntity.getUserId()));

        userEntityMapper.insertSelective(userEntity);

    }

    @Override

    public UserEntity getUser(int userId) {

        //switch db

        DBContext.setDBKey(DBContext.getDBKeyByUserId(userId));

        return userEntityMapper.selectByPrimaryKey(userId);

    }

}

注意：25，32行在调用mybatis操作数据库前，先根据需要切换到不同的数据库，然后再操作。

运行完成后，可以看下db_1,db_2这二个数据库，确认数据是否已经分散存储到每个库中：

mybatis: 利用多数据源实现分库存储　　

如果不喜欢在代码里手动切换db，也可以用注解的方式自动切换，比如：我们又增加了一个db_main

jdbc-driver=com.mysql.jdbc.Driver

jdbc-key-1=db_1

jdbc-url-1=jdbc:mysql://default:3306/db_1?useUnicode=true&characterEncoding=utf8

jdbc-user-1=test

jdbc-password-1=123456

jdbc-key-2=db_2

jdbc-url-2=jdbc:mysql://default:3306/db_2?useUnicode=true&characterEncoding=utf8

jdbc-user-2=test

jdbc-password-2=123456

jdbc-key-main=db_main

jdbc-url-main=jdbc:mysql://default:3306/db_main?useUnicode=true&characterEncoding=utf8

jdbc-user-main=test

jdbc-password-main=123456

然后在spring配置文件里，要做些调整：

     <bean id="parentDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init"

           destroy-method="close">

         <property name="driverClassName" value="${jdbc-driver}"/>

         <property name="url" value="${jdbc-url-1}"/>

         <property name="username" value="${jdbc-user-1}"/>

         <property name="password" value="${jdbc-password-1}"/>

         <property name="filters" value="stat"/>

         <property name="maxActive" value="20"/>

         <property name="initialSize" value="1"/>

         <property name="maxWait" value="60000"/>

         <property name="minIdle" value="1"/>

         <property name="timeBetweenEvictionRunsMillis" value="3000"/>

         <property name="minEvictableIdleTimeMillis" value="300000"/>

         <property name="validationQuery" value="SELECT 'x'"/>

         <property name="testWhileIdle" value="true"/>

         <property name="testOnBorrow" value="false"/>

         <property name="testOnReturn" value="false"/>

         <property name="poolPreparedStatements" value="true"/>

         <property name="maxPoolPreparedStatementPerConnectionSize" value="20"/>

         <property name="connectionInitSqls" value="set names utf8mb4;"/>

     </bean>

     <bean id="dataSource1" parent="parentDataSource">

         <property name="url" value="${jdbc-url-1}"/>

         <property name="username" value="${jdbc-user-1}"/>

         <property name="password" value="${jdbc-password-1}"/>

     </bean>

     <bean id="dataSource2" parent="parentDataSource">

         <property name="url" value="${jdbc-url-2}"/>

         <property name="username" value="${jdbc-user-2}"/>

         <property name="password" value="${jdbc-password-2}"/>

     </bean>

     <bean id="dataSourceMain" parent="parentDataSource">

         <property name="url" value="${jdbc-url-main}"/>

         <property name="username" value="${jdbc-user-main}"/>

         <property name="password" value="${jdbc-password-main}"/>

     </bean>

     <!-- method 1:  config switch routing db -->

     <bean id="dataSource" class="com.cnblogs.yjmyzz.utils.RoutingDataSource">

         <property name="targetDataSources">

             <map key-type="java.lang.String">

                 <entry key="${jdbc-key-1}" value-ref="dataSource1"/>

                 <entry key="${jdbc-key-2}" value-ref="dataSource2"/>

                 <entry key="${jdbc-key-main}" value-ref="dataSourceMain"/>

             </map>

         </property>

     </bean>

     <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">

         <property name="configLocation" value="classpath:mybatis-config.xml"></property>

         <property name="dataSource" ref="dataSource"/>

         <property name="mapperLocations">

             <array>

                 <value>classpath:mybatis/*.xml</value>

             </array>

         </property>

     </bean>

     <bean id="userScannerConfigurer" class="org.mybatis.spring.mapper.MapperScannerConfigurer">

         <property name="basePackage" value="com.cnblogs.yjmyzz.mapper.user"/>

         <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>

     </bean>

     <!-- method 2: config annotation auto switch-->

     <bean id="sqlSessionFactoryMain" class="org.mybatis.spring.SqlSessionFactoryBean">

         <property name="configLocation" value="classpath:mybatis-config.xml"></property>

         <property name="dataSource" ref="dataSourceMain"/>

         <property name="mapperLocations">

             <array>

                 <value>classpath:mybatis/*.xml</value>

             </array>

         </property>

     </bean>

     <bean id="orderScannerConfigurer" class="org.mybatis.spring.mapper.MapperScannerConfigurer">

         <property name="basePackage" value="com.cnblogs.yjmyzz.mapper.order"/>

         <property name="sqlSessionFactoryBeanName" value="sqlSessionFactoryMain"/>

     </bean>

注意：67-81行，主要是增加了一个单独的sqlSessionFactoryMain，然后将一个新的MapperScannerConfigurer关联到它。

新库里对应表的Mapper类可以这么写：

@Resource(name = "orderScannerConfigurer")

public interface OrderEntityMapper extends Mapper<OrderEntity> {

}

注解里name对应的值，必须与刚才spring文件里新增的MapperScannerConfigurer对应。

这样，服务层就可以省去手动切换的代码了，即：

public class UserServiceImpl implements UserService {

    @Autowired

    UserEntityMapper userEntityMapper;

    @Autowired

    OrderEntityMapper orderEntityMapper;

    @Override

    public void addUser(UserEntity userEntity) {

        //switch db

        DBContext.setDBKey(DBContext.getDBKeyByUserId(userEntity.getUserId()));

        userEntityMapper.insertSelective(userEntity);

    }

    @Override

    public UserEntity getUser(int userId) {

        //switch db

        DBContext.setDBKey(DBContext.getDBKeyByUserId(userId));

        return userEntityMapper.selectByPrimaryKey(userId);

    }

    @Override

    public void addOrder(OrderEntity orderEntity) {

        //since orderEntityMapper can auto switch db by annotation

        //so we don't need to switch db manually

        orderEntityMapper.insertSelective(orderEntity);

    }

    @Override

    public OrderEntity getOrder(int orderId) {

        //since orderEntityMapper can auto switch db by annotation

        //so we don't need to switch db manually

        return orderEntityMapper.selectByPrimaryKey(orderId);

    }

}

上述二种方式可以共存在同一个项目中，个人建议：如果分库的表结构相同，且表数量较多，第1种手动切换的方式比较适合，这样mapper类不用重复建多个，如果分库的表结构完全不同，第2种比较合适，因为表结构不同，mapper肯定也不同，所以mapper多个是无法避免的，这时候就宁可加点配置，代码中就不用手动切换，可以省事点。

最后，在github上放了一份示例代码，供有需要的同学下载。

相关文章