Spring + MyBatis 多数据源实现

近期，在项目中需要做分库，但是因为某些原因，没有采用开源的分库插件，而是采用了同事之前弄得多数据源形式实现的分库。对于多数据源，本人在实际项目也中遇到的不多，之前的项目大多是服务化，以RPC的形式获得数据。本人遇到的多数据源实际使用场景如下：分库分表；主从读写分离。

多数据源配置说到底就是在程序运行时根据当时的请求入参或者系统状态来动态的决定将数据存储在那个数据库实例中，以及从哪个数据库提取数据。比如，我们可以按照业务线Id进行分库，每个业务线一个唯一id，一个数据库，一个数据源；然后规定所有的方法入参都必须加上业务线Id，此时就可以根据业务线Id，在程序运行的时候决定操作的数据源。

Spring对于多数据源，以数据库表为参照，大体上可以分成两大类情况:

对于不同的数据库却有相同的表（表名和表结构完全相同），此种情况大多发生在相同的业务场景，不同分库维度的数据放在不同数据库里。比如交易数据，不同业务线的交易流水，因财务审计的要求，一般会放在不同的数据库里，做业务数据隔离；但是业务场景都是交易流水，业务场景都极度相似，很容易做到多个库表名和表结构相同。极端的业务场景下，如果真的有差异，基本上都可以通过扩展字段解决。
多数据库之间没有相关性，各自独立，比如订单数据库和支付记录数据库。

继承AbstractRoutingDataSource实现动态数据源切换

个人理解，动态数据源切换更适合场景1，用于不同的数据库却有相同的表；因为，此种场景下，大多都只有一个MyBatis的sqlSessionFactory，扫描的Mapper也只能是一个指定的目录下。

具体配置文件

下面的配置仅仅是为了说明整体流程和技术原理，没有实现太多复杂的逻辑，数据源都是自己手动切换的。正式的项目里可以通过AOP、拦截器等形式，实现数据源自动切换，路由选择更丰富化。

mybatis配置文件

<bean id="masterDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
        <!-- 基本属性 url、user、password -->
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />

        <!-- 配置初始化大小、最小、最大 -->
        <property name="initialSize" value="1" />
        <property name="minIdle" value="1" />
        <property name="maxActive" value="20" />

        <!-- 配置获取连接等待超时的时间 -->
        <property name="maxWait" value="60000" />

        <!-- 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 -->
        <property name="timeBetweenEvictionRunsMillis" value="60000" />

        <!-- 配置一个连接在池中最小生存的时间，单位是毫秒 -->
        <property name="minEvictableIdleTimeMillis" value="300000" />

        <property name="validationQuery" value="SELECT 'x'" />
        <property name="testWhileIdle" value="true" />
        <property name="testOnBorrow" value="false" />
        <property name="testOnReturn" value="false" />

        <!-- 打开PSCache，并且指定每个连接上PSCache的大小 -->
        <property name="poolPreparedStatements" value="true" />
        <property name="maxPoolPreparedStatementPerConnectionSize" value="20" />
</bean>

<bean id="slaveDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    <!-- 基本属性 url、user、password -->
    <property name="url" value="${jdbc.r.url}" />
    <property name="username" value="${jdbc.r.username}" />
    <property name="password" value="${jdbc.r.password}" />

    <!-- 配置初始化大小、最小、最大 -->
    <property name="initialSize" value="1" />
    <property name="minIdle" value="1" />
    <property name="maxActive" value="20" />

    <!-- 配置获取连接等待超时的时间 -->
    <property name="maxWait" value="60000" />

    <!-- 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 -->
    <property name="timeBetweenEvictionRunsMillis" value="60000" />

    <!-- 配置一个连接在池中最小生存的时间，单位是毫秒 -->
    <property name="minEvictableIdleTimeMillis" value="300000" />

    <property name="validationQuery" value="SELECT 'x'" />
    <property name="testWhileIdle" value="true" />
    <property name="testOnBorrow" value="false" />
    <property name="testOnReturn" value="false" />

    <!-- 打开PSCache，并且指定每个连接上PSCache的大小 -->
    <property name="poolPreparedStatements" value="true" />
    <property name="maxPoolPreparedStatementPerConnectionSize" value="20" />
</bean>

<bean id="dynamicDataSource" class="com.boothsun.util.datasource.DynamicDataSource">
    <property name="targetDataSources">
        <map key-type="java.lang.String">
            <!-- write -->
            <entry key="master" value-ref="masterDataSource"/>
            <!-- read -->
            <entry key="slave" value-ref="slaveDataSource"/>
        </map>
    </property>
    <property name="defaultTargetDataSource" ref="masterDataSource"/>
</bean>

<!-- MyBatis配置 -->
<bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
    <property name="dataSource" ref="dynamicDataSource"/>
    <!-- 显式指定Mapper文件位置 -->
    <property name="mapperLocations" value="classpath*:xmlmapper/*.xml"/>
</bean>

<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
    <property name="basePackage" value="com.boothsun.mybatismapper"/>
    <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>
</bean>

<bean id="transactionManager"
      class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
    <property name="dataSource" ref="dynamicDataSource"/>
</bean>
<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="false"/>

DynamicDataSource方法：

public class DynamicDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() {
        return DbContextHolder.getDbType();
    }
}

DbContextHolder方法

public class DbContextHolder {
    private static final ThreadLocal<String> contextHolder=new ThreadLocal<String>();
    public static void setDbType(String dbType){
        contextHolder.set(dbType);
    }
    public static String getDbType(){
        String dbType=(String) contextHolder.get();
        return dbType;
    }
    public static void clearDbType(){
        contextHolder.remove();
    }
}

单测类

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(locations = {"classpath:spring/applicationContext.xml"})
public class MutiSourceTest {

    @Autowired
    SalaryFinanceReportMapper salaryFinanceReportMapper ;

    @Test
    public void query() {
        DbContextHolder.setDbType("master");
        SalaryFinanceReport salaryFinanceReport = salaryFinanceReportMapper.selectByPrimaryKey(1L);
        System.out.println(JSONObject.toJSONString(salaryFinanceReport));

        DbContextHolder.setDbType("slave");
        salaryFinanceReport = salaryFinanceReportMapper.selectByPrimaryKey(1L);
        System.out.println(JSONObject.toJSONString(salaryFinanceReport));
    }
}

原理

具体可以详见从AbstractRoutingDataSource说分库分表实现。

posted @ 2017-08-30 19:21 做个有梦想的咸鱼阅读(706) 评论(0) 编辑收藏举报

刷新页面返回顶部