spring+mybatis的多源数据库配置实战

 

前言:
　　关于spring+mybatis的多源数据库配置, 其实是个老生常谈的事情. 网上的方案出奇的一致, 都是借助AbstractRoutingDataSource进行动态数据源的切换.
　　这边再无耻地做一回大自然的搬运工, 除了做下笔记, 更多的希望是作为一个切入点, 能探寻下mybatis实现分库分表的解决方案.

 

基本原理:
　　关于mybatis的配置, 基本遵循如下的概念流:

DB(数据库对接信息)->数据源(数据库连接池配置)->session工厂(连接管理与数据访问映射关联)->DAO(业务访问封装).

　　对于定义的sqlmapper接口类, mybatis会为这些类动态生成一个代理类, 隐藏了连接管理(获取/释放), 参数设置/SQL执行/结果集映射等细节, 大大简化了开发工作.
　　而连接管理涉及到具体的DataSource类实现机制, 在具体执行sql前, 其DB源的选定还有操作空间. 这也为DB路由(切换)提供了口子, 而AbstractRoutingDataSource的引入, 一定程度上为DB自由切换提供了便利.

 

配置工作:
　　先编写jdbc.properties的内容:

# db1的配置
db1.jdbc.url=jdbc:mysql://127.0.0.1:3306/db_account_1?useUnicode=true&characterEncoding=utf-8
db1.jdbc.username=rd
db1.jdbc.password=rd
db1.jdbc.driver=com.mysql.jdbc.Driver

# db2的配置
db2.jdbc.url=jdbc:mysql://127.0.0.1:3306/db_account_2?useUnicode=true&characterEncoding=utf-8
db2.jdbc.username=rd
db2.jdbc.password=rd
db2.jdbc.driver=com.mysql.jdbc.Driver

　　编辑mybatis-config.xml(对mybatis做一些基础通用配置)的内容:

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration
        PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <!-- 配置mybatis的缓存，延迟加载等等一系列属性 -->
    <settings>
        <!-- 全局映射器启用缓存 -->
        <setting name="cacheEnabled" value="true" />
        <!-- 查询时，关闭关联对象即时加载以提高性能 -->
        <setting name="lazyLoadingEnabled" value="true" />
        <!-- 设置关联对象加载的形态，此处为按需加载字段(加载字段由SQL指定)，不会加载关联表的所有字段，以提高性能 -->
        <setting name="aggressiveLazyLoading" value="false" />
        <!-- 允许插入 NULL -->
        <setting name="jdbcTypeForNull" value="NULL" />
    </settings>
</configuration>

　　编辑application-context.xml的配置:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xmlns:aop="http://www.springframework.org/schema/aop"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans-4.1.xsd 
        http://www.springframework.org/schema/context 
        http://www.springframework.org/schema/context/spring-context.xsd 
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop.xsd">

    <aop:aspectj-autoproxy proxy-target-class="true"/>

    <context:component-scan base-package="com.springapp.mvc"/>
    <context:annotation-config />

    <!-- 加载jdbc.properties配置文件 -->
    <bean id="propertyConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <property name="locations">
            <list>
                <value>classpath:conf/jdbc.properties</value>
            </list>
        </property>
        <property name="fileEncoding" value="UTF-8"/>
        <property name="ignoreUnresolvablePlaceholders" value="true"/>
    </bean>

    <!-- 配置数据源1 -->
    <bean id="dataSource1" class="com.alibaba.druid.pool.DruidDataSource">
        <property name="url" value="${db1.jdbc.url}"/>
        <property name="username" value="${db1.jdbc.username}"/>
        <property name="password" value="${db1.jdbc.password}"/>
        <property name="driverClassName" value="${db1.jdbc.driver}" />
    </bean>

	<!-- 配置数据源2 -->
    <bean id="dataSource2" class="com.alibaba.druid.pool.DruidDataSource">
        <property name="url" value="${db2.jdbc.url}"/>
        <property name="username" value="${db2.jdbc.username}"/>
        <property name="password" value="${db2.jdbc.password}"/>
        <property name="driverClassName" value="${db2.jdbc.driver}" />
    </bean>

    <!-- 配置动态数据源 -->
    <bean id="dynamicDatasource" class="com.springapp.mvc.datasource.DynamicDataSource">
        <property name="targetDataSources">
            <map>
                <entry key="db1" value-ref="dataSource1"/>
                <entry key="db2" value-ref="dataSource2"/>
            </map>
        </property>
        <property name="defaultTargetDataSource" ref="dataSource1"/>
    </bean>

    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <property name="dataSource" ref="dynamicDatasource"/>
        <property name="configLocation" value="classpath:mybatis/mybatis-config.xml"/>
        <property name="mapperLocations">
            <list></list>
        </property>
    </bean>

    <!--mybatis的配置-->
    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
        <property name="basePackage" value="com.springapp.mvc.dal"/>
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>
    </bean>

</beans>

　　注: 这里面涉及一些类, 会在下文中定义.

 

依赖引入:
　　这边使用了alibaba开源的druid作为数据库连接池.

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.11</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.10</version>
        </dependency>

        <dependency>
            <groupId>org.mybatis</groupId>
            <artifactId>mybatis</artifactId>
            <version>3.4.6</version>
        </dependency>

        <dependency>
            <groupId>org.mybatis</groupId>
            <artifactId>mybatis-spring</artifactId>
            <version>1.3.2</version>
        </dependency>

        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jdbc</artifactId>
            <version>4.1.1.RELEASE</version>
        </dependency>

　　

基础代码编写:
　　主要是db路由的datasource实现类, 以及辅助的注解工具类.
　　定义db来源的枚举类:

@Getter
@AllArgsConstructor
public enum DataSourceKey {

    DB1("db1"),
    DB2("db2");

    private String dbKey;

}

　　定义标示当前激活db的工具类:

public class DatasourceContextHolder {

    private static final ThreadLocal<String> contextHolder
            = new ThreadLocal<String>();

    // 设置数据源
    public static void setDataSourceType(DataSourceKey dbKey) {
        contextHolder.set(dbKey.getDbKey());
    }

    // 获取当前的数据源
    public static String getDataSourceType() {
        return contextHolder.get();
    }

    // 清空数据源
    public static void clearDataSourceType() {
        contextHolder.remove();
    }

}

　　注: 利用了ThreadLocal来保存当前选择的db源
　　定义AbstractRoutingDataSource的实现类:

public class DynamicDataSource extends AbstractRoutingDataSource {

    @Override
    protected Object determineCurrentLookupKey() {
        return DatasourceContextHolder.getDataSourceType();
    }

}

　　注: 只要重载determineCurrentLookupKey()函数即可.
　　定义注解:

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
public @interface DataSourceSelector {
    DataSourceKey dataSource() default DataSourceKey.DB1;
}

　　定义切面类:

@Aspect
@Component
@Order(1)
public class DataSourceSelectorAdvice {

    // 定义切点, 用于db源切换
    @Pointcut("@annotation(com.springapp.mvc.datasource.DataSourceSelector)")
    public void selectorDB() {
    }

    @Around("selectorDB() && @annotation(dataSourceSelector)")
    public Object aroundSelectDB(ProceedingJoinPoint pjp, DataSourceSelector dataSourceSelector) throws Throwable {
        // 设置具体的数据源
        DatasourceContextHolder.setDataSourceType(dataSourceSelector.dataSource());
        try {
            // 执行拦截的方法本体
            return pjp.proceed();
        } finally {
            // 清空设置的数据源
            DatasourceContextHolder.clearDataSourceType();
        }
    }

}

　　这些代码构成了动态切换db源的主干框架.

 

业务代码编写:
　　编写DO类:

@Getter
@Setter
@ToString
public class AccountDO {

    private String username;

    private String password;

}

　　编写sqlmapper接口类:

@Repository
public interface AccountMapper {

    @Select("SELECT username, password FROM tb_account WHERE user_id = #{user_id}")
    @Results({
            @Result(property = "userId",   column = "user_id",  jdbcType = JdbcType.VARCHAR),
            @Result(property = "username", column = "username", jdbcType = JdbcType.VARCHAR),
            @Result(property = "password", column = "password", jdbcType = JdbcType.VARCHAR),
    })
    AccountDO queryByUserId(@Param("user_id") String userId);

}

　　编写service类:

@Service
public class AccountService {

    @Resource
    private AccountMapper accountMapper;

    // *) 从db1获取数据
    @DataSourceSelector(dataSource = DataSourceKey.DB1)
    public AccountDO queryByUserId1(String userId) {
        return accountMapper.queryByUserId(userId);
    }

    // *) 从db2获取数据
    @DataSourceSelector(dataSource = DataSourceKey.DB2)
    public AccountDO queryByUserId2(String userId) {
        return accountMapper.queryByUserId(userId);
    }

}

　　Aspectj对接口(interface)无效, 对具体的实体类才其作用, 因为sqlmapper接口类会被mybatis生成一个动态类, 因此需要加切面(db切换), 需要在service层去实现.

 

验证数据准备:
　　本地创建了两个db, 都创建相同的表tb_account.

CREATE TABLE `tb_account` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` varchar(32) NOT NULL,
  `username` varchar(32) DEFAULT NULL,
  `password` varchar(32) DEFAULT NULL,
  PRIMARY KEY (`id`), UNIQUE KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

　　db1的tb_account有账号数据(1001, lilei).
　　db2的tb_account有账号数据(2001, hanmeimei).
　　

 

测试:
　　编写单测:

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration({"classpath:application-context.xml"})
public class AccountServiceTest {

    @Resource
    private AccountService accountService;

    @Test
    public void queryByUserId1() {
        // 用户id:1001, 落在db1中, 不在db2
        String userId = "1001";

        AccountDO accountDO1 = accountService.queryByUserId1(userId);
        Assert.assertNotNull(accountDO1);       // 存在断言

        AccountDO accountDO2 = accountService.queryByUserId2(userId);
        Assert.assertNull(accountDO2);          // 不存在断言
    }

    @Test
    public void queryByUserId2() {
        // 用户id:2001, 不在db1中, 在db2中
        String userId = "2001";

        AccountDO accountDO1 = accountService.queryByUserId1(userId);
        Assert.assertNull(accountDO1);          // 不存在断言

        AccountDO accountDO2 = accountService.queryByUserId2(userId);
        Assert.assertNotNull(accountDO2);       // 存在断言
    }

}

　　运行的结果符合预期.

 

后记:
　　对于微服务的盛行, 其实多源的数据源(基于业务划分)基本就不存在, 如果存在, 要么业务刚发展起来, 要么就是公司的基础设施太薄弱了^_^. 网上也看到有人用来主从(master/slave)的配置, 其实对于有一定规模的公司而言, mysql的主从分离都由类db proxy的中间件服务承包了.
　　那他的意义究竟在哪呢? 其实我感觉还是给mysql的分库分表, 提供了一种可行的思路.