spring 动态创建数据源
项目需求如下,公司对外提供服务,公司本身有个主库,另外公司会为每个新客户创建一个数据库,客户的数据库地址,用户名,密码,都保存在主数据库中。由于不断有新的客户加入,所以要求,项目根据主数据库中的信息,来动态创建数据源。
解决方案:
spring提供了一个类,AbstractRoutingDataSource,可以创建多个数据库,并在几个数据库中进行切换。建议读者在读本文之前先了解一下这个类的使用
afterPropertiesSet(),
determineCurrentLookupKey(),
determineTargetDataSource(),
上面这3个方法是AbstractRoutingDataSource类中的3个方法,这个方案也是基于这3个方法来实现的,先看代码
一个DynamicDataSource 类,主要负责保存和创建数据源
public class DynamicDataSource extends AbstractRoutingDataSource { private Logger log = Logger.getLogger(this.getClass()); @Autowired private CenterDatebaseManager centerDatebaseManager; // 默认数据源,也就是主库 protected DataSource masterDataSource; // 保存动态创建的数据源 private static final Map targetDataSource = new HashMap<>(); @Override protected DataSource determineTargetDataSource() { // 根据数据库选择方案,拿到要访问的数据库 String dataSourceName = determineCurrentLookupKey(); if("dataSource".equals(dataSourceName)) { // 访问默认主库 return masterDataSource; } // 根据数据库名字,从已创建的数据库中获取要访问的数据库 DataSource dataSource = (DataSource) targetDataSource.get(dataSourceName); if(null == dataSource) { // 从已创建的数据库中获取要访问的数据库,如果没有则创建一个 dataSource = this.selectDataSource(dataSourceName); } return dataSource; } @Override protected String determineCurrentLookupKey() { // TODO Auto-generated method stub String dataSourceName = Dbs.getDbType(); if (dataSourceName == null || dataSourceName == "dataSource") { // 默认的数据源名字 dataSourceName = "dataSource"; } log.debug("use datasource : " + dataSourceName); return dataSourceName; } /*public void setTargetDataSource(Map targetDataSource) { this.targetDataSource = targetDataSource; super.setTargetDataSources(this.targetDataSource); }*/ /*public Map getTargetDataSource() { return this.targetDataSource; }*/ public void addTargetDataSource(String key, BasicDataSource dataSource) { this.targetDataSource.put(key, dataSource); //setTargetDataSources(this.targetDataSource); } /** * 该方法为同步方法,防止并发创建两个相同的数据库 * 使用双检锁的方式,防止并发 * @param dbType * @return */ private synchronized DataSource selectDataSource(String dbType) { // 再次从数据库中获取,双检锁 DataSource obj = (DataSource)this.targetDataSource.get(dbType); if (null != obj) { return obj; } // 为空则创建数据库 BasicDataSource dataSource = this.getDataSource(dbType); if (null != dataSource) { // 将新创建的数据库保存到map中 this.setDataSource(dbType, dataSource); return dataSource; }else { throw new SystemException("创建数据源失败!"); } } /** * 查询对应数据库的信息 * @param dbtype * @return */ private BasicDataSource getDataSource(String dbtype) { String oriType = Dbs.getDbType(); // 先切换回主库 Dbs.setDbType("dataSource"); // 查询所需信息 CenterDatebase datebase = centerDatebaseManager.getById(dbtype); // 切换回目标库 Dbs.setDbType(oriType); String url = "jdbc:sqlserver://" + datebase.getIp() + ":1433" + ";DatabaseName=" + datebase.getDatabaseName(); BasicDataSource dataSource = createDataSource(url,datebase.getUserName(),datebase.getPassword()); return dataSource; } //创建SQLServer数据源 private BasicDataSource createDataSource(String url,String userName,String password) { return createDataSource("com.microsoft.sqlserver.jdbc.SQLServerDriver", url, userName, password); } //创建数据源 private BasicDataSource createDataSource(String driverClassName, String url, String username, String password) { BasicDataSource dataSource = new BasicDataSource(); dataSource.setDriverClassName(driverClassName); dataSource.setUrl(url); dataSource.setUsername(username); dataSource.setPassword(password); dataSource.setTestWhileIdle(true); return dataSource; } public void setDataSource(String type, BasicDataSource dataSource) { this.addTargetDataSource(type, dataSource); Dbs.setDbType(type); } /* @Override public void setTargetDataSources(Map targetDataSources) { // TODO Auto-generated method stub super.setTargetDataSources(targetDataSources); // 重点:通知container容器数据源发生了变化 afterPropertiesSet(); }*/ /** * 该方法重写为空,因为AbstractRoutingDataSource类中会通过此方法将,targetDataSources变量中保存的数据源交给resolvedDefaultDataSource变量 * 在本方案中动态创建的数据源保存在了本类的targetDataSource变量中。如果不重写该方法为空,会因为targetDataSources变量为空报错 * 如果仍然想要使用AbstractRoutingDataSource类中的变量保存数据源,则需要在每次数据源变更时,调用此方法来为resolvedDefaultDataSource变量更新 */ @Override public void afterPropertiesSet() { } public DataSource getMasterDataSource() { return masterDataSource; } public void setMasterDataSource(DataSource masterDataSource) { this.masterDataSource = masterDataSource; } }
一个Dbs类,主要负责切换数据源,保存当前线程要访问的数据源
public class Dbs { private static final ThreadLocal<String> local = new ThreadLocal<String>(); public static String getDbType(){ return local.get(); } public static void setDbType(String dbName){ local.set(dbName); } public static void clear(){ local.remove(); } }
spring 配置文件(不完整),只贴出了配置数据源的部分,其他部分正常配就行了
<!-- 引入jdbc配置文件 --> <context:property-placeholder location="classpath:jdbc.properties" /> <!--创建jdbc数据源 --> <bean id="masterDataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close"> <property name="driverClassName" value="${jdbc.driverClassName}" /> <property name="url" value="${jdbc.url}" /> <property name="username" value="${jdbc.username}" /> <property name="password" value="${jdbc.password}" /> <property name="initialSize" value="10" /> <property name="maxActive" value="50" /> <property name="maxIdle" value="15" /> <property name="minIdle" value="5" /> <property name="removeAbandoned" value="true" /> <property name="removeAbandonedTimeout" value="60" /> <property name="maxWait" value="10000" /> <property name="logAbandoned" value="true" /> </bean> <!--多数据源 --> <bean id="multipleDataSource" class="com.zoneking.basis.dynamicDB.DynamicDataSource"> <property name="masterDataSource" ref="masterDataSource"></property> </bean>
通过Dbs类中的 local 变量来记录当前线程要访问的数据源,在DynamicDataSource类中根据local 变量来取对应的数据源,没有的话则创建一个。
本方案完全抛弃了AbstractRoutingDataSource类中的成员变量,所以要将 afterPropertiesSet() 方法重写为空。原因在注释中简单写了一下,如果想了解具体细节的话,可以复制到本地运行,当然要改成能运行的,其实主要就是改写创建数据库时获取,数据库的地址,用户名和密码那部分。
当时写这个的时候参考了网上另外一篇文章,但是由于时间久远,找不到那篇文章了。在那篇文章中,作者使用了AbstractRoutingDataSource类中的成员变量来保存数据源,想了解的朋友可以在网上仔细找找。
本方案只是一个简单的方案,仍然存有很多问题。比如,只有创建数据源,没有删除;在集群模式下,仍然创建了大量的重复的数据源。同时,文章中有什么错误的地方,欢迎各路大神指出。