阿里DRUID 配置说明及分析
今天我们说说数据源和数据库连接池，熟悉java开发的同仁应该都了解C3PO，在这里不做过多的赘述了，今天我们说的是阿里DRUID，druid是后起之秀，因为它的优秀很快占领了使用市场，下边我们一起来看看druid数据源的配置以及druid监控的配置和监控的实现逻辑。
1、druid数据源配置
下面是druid的数据源配置项，这些配置项都是com.alibaba.druid.pool.DruidDataSource类和其基类com.alibaba.druid.pool.DruidAbstractDataSource的public final属性，这些配置型和C3P0的数据源配置项基本一样，有个别的是明白发生了变化但是参数所表示的意思不变，还有一些参数是druid自己扩展的，其中filters属性就是杰出代表，次属性是DruidAbstractDataSource类的，是一个List<Filter>的集合，此属性提供了三个可选值：监控统计用的stat、日志用的log4j、 防御sql注入的wall，这三个值可以单独使用也可以两两组合或者一起使用，组合使用的时候不同值之间用逗号隔开。有人可能会有疑问了，不是一个List集合吗，为什么这里却是用逗号分隔的，那是因为druid在赋值的时候有特殊处理，至于是如何处理的在下边我们会说到。
| 配置 | 缺省值 | 说明 |
| name | 配置这个属性的意义在于，如果存在多个数据源，监控的时候 可以通过名字来区分开来。如果没有配置，将会生成一个名字， 格式是："DataSource-" + System.identityHashCode(this) |
|
| jdbcUrl | 连接数据库的url，不同数据库不一样。例如： mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto |
|
| username | 连接数据库的用户名 | |
| password | 连接数据库的密码。如果你不希望密码直接写在配置文件中， 可以使用ConfigFilter。详细看这里： https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter |
|
| driverClassName | 根据url自动识别 | 这一项可配可不配，如果不配置druid会根据url自动识别dbType， 然后选择相应的driverClassName |
| initialSize | 0 | 初始化时建立物理连接的个数。初始化发生在显示调用init方法， 或者第一次getConnection时 |
| maxActive | 8 | 最大连接池数量 |
| maxIdle | 8 | 已经不再使用，配置了也没效果 |
| minIdle | 最小连接池数量 | |
| maxWait | 获取连接时最大等待时间，单位毫秒。配置了maxWait之后， 缺省启用公平锁，并发效率会有所下降， 如果需要可以通过配置useUnfairLock属性为true使用非公平锁。 |
|
| poolPreparedStatements | false | 是否缓存preparedStatement，也就是PSCache。 PSCache对支持游标的数据库性能提升巨大，比如说oracle。 在mysql5.5以下的版本中没有PSCache功能，建议关闭掉。 5.5及以上版本有PSCache，建议开启。 |
| maxOpenPreparedStatements | -1 | 要启用PSCache，必须配置大于0，当大于0时， poolPreparedStatements自动触发修改为true。 在Druid中，不会存在Oracle下PSCache占用内存过多的问题， 可以把这个数值配置大一些，比如说100 |
| validationQuery | 用来检测连接是否有效的sql，要求是一个查询语句。 如果validationQuery为null，testOnBorrow、testOnReturn、 testWhileIdle都不会其作用。 |
|
| testOnBorrow | true | 申请连接时执行validationQuery检测连接是否有效， 做了这个配置会降低性能。 |
| testOnReturn | false | 归还连接时执行validationQuery检测连接是否有效， 做了这个配置会降低性能 |
| testWhileIdle | false | 建议配置为true，不影响性能，并且保证安全性。 申请连接的时候检测，如果空闲时间大于 timeBetweenEvictionRunsMillis， 执行validationQuery检测连接是否有效。 |
| timeBetweenEvictionRunsMillis | 有两个含义： 1) Destroy线程会检测连接的间隔时间 2) testWhileIdle的判断依据，详细看testWhileIdle属性的说明 |
|
| numTestsPerEvictionRun | 不再使用，一个DruidDataSource只支持一个EvictionRun | |
| minEvictableIdleTimeMillis | Destory线程中如果检测到当前连接的最后活跃时间和当前时间的差值大于 minEvictableIdleTimeMillis，则关闭当前连接。 |
|
| connectionInitSqls | 物理连接初始化的时候执行的sql | |
| exceptionSorter | 根据dbType自动识别 | 当数据库抛出一些不可恢复的异常时，抛弃连接 |
| filters | 属性类型是字符串，通过别名的方式配置扩展插件， 常用的插件有： 监控统计用的filter:stat 日志用的filter:log4j 防御sql注入的filter:wall |
|
| proxyFilters | 类型是List<com.alibaba.druid.filter.Filter>， 如果同时配置了filters和proxyFilters， 是组合关系，并非替换关系 |
|
| removeAbandoned | 对于建立时间超过removeAbandonedTimeout的连接强制关闭 | |
| removeAbandonedTimeout | 指定连接建立多长时间就需要被强制关闭 | |
| logAbandoned | 指定发生removeabandoned的时候，是否记录当前线程的堆栈信息到日志中 |
2、druid监控的配置与监控访问
要使用druid监控需要做好两个配置：
1）、在配置数据源时需要配置filters并且赋值你需要使用的监控项（stat、log4j、wall）；
2）、需要在项目的web.xml中配置druid的自定义servlet（com.alibaba.druid.support.http.StatViewServlet），配置样例如下代码所示：
<servlet>
<servlet-name>DruidStatView</servlet-name>
<servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
</servlet>
<servlet-mapping>
<servlet-name>DruidStatView</servlet-name>
<url-pattern>/druid/*</url-pattern>
</servlet-mapping>
3）、监控系统的访问：http://IP:PORT/projectName/druid/（http://localhost:8088/cd_management/druid/sql.html），监控效果如下图所示：
3、filters属性的赋值逻辑
上面有提到filters的配置项有三个，可以随机组合也可以一起使用，也有提到filters是一个List集合，那我们来看看druid是如何赋值的，如下源码所示，赋值时调用的setFilters(String filters)方法，最终是通过逗号分隔为数组然后遍历调用FilterManager.loadFilter(this.filters, item.trim())，然后用反射机制生成相应的对象并添加到Filter集合。
public void setFilters(String filters) throws SQLException { if (filters != null && filters.startsWith("!")) { filters = filters.substring(1); this.clearFilters(); } this.addFilters(filters); } public void addFilters(String filters) throws SQLException { if (filters == null || filters.length() == 0) { return; } String[] filterArray = filters.split("\\,"); for (String item : filterArray) { FilterManager.loadFilter(this.filters, item.trim()); } }
public static void loadFilter(List<Filter> filters, String filterName) throws SQLException { if (filterName.length() == 0) { return; } String filterClassNames = getFilter(filterName); if (filterClassNames != null) { for (String filterClassName : filterClassNames.split(",")) { if (existsFilter(filters, filterClassName)) { continue; } Class<?> filterClass = Utils.loadClass(filterClassName); if (filterClass == null) { LOG.error("load filter error, filter not found : " + filterClassName); continue; } Filter filter; try { filter = (Filter) filterClass.newInstance(); } catch (ClassCastException e) { LOG.error("load filter error.", e); continue; } catch (InstantiationException e) { throw new SQLException("load managed jdbc driver event listener error. " + filterName, e); } catch (IllegalAccessException e) { throw new SQLException("load managed jdbc driver event listener error. " + filterName, e); } filters.add(filter); } return; } if (existsFilter(filters, filterName)) { return; } Class<?> filterClass = Utils.loadClass(filterName); if (filterClass == null) { LOG.error("load filter error, filter not found : " + filterName); return; } try { Filter filter = (Filter) filterClass.newInstance(); filters.add(filter); } catch (Exception e) { throw new SQLException("load managed jdbc driver event listener error. " + filterName, e); } }
4、druid监控实现逻辑
要说明druid监控逻辑从如下三个方面切入分析：
1）、监控的数据什么时候生成
在这里我们拿Spring和druid整合案例来分析说明druid监控数据的生成，上面我们有提到要使用druid的监控空能需要配置filters，并且filters可以配置多个，这里druid关于这些filter的处理其实借鉴了过滤器链的原理，druid关于监控数据的收集处理逻辑是这样的，我们从Spring的JdbcTemplate类开始看，如下源码一，是一个查询的处理，rs = ps.executeQuery()是PreparedStatement开始执行sql从数据库查询数据的开始，这里我们给ps对象赋予的是DruidPooledPreparedStatement类对象，所以进入DruidPooledPreparedStatement类我们来看它的具体实现。
源码二是DruidPooledPreparedStatement类对executeQuery方法的实现，这个方法里面最关键的是ResultSet rs = stmt.executeQuery()这句，stmt是PreparedStatementProxyImpl类的类对象。
源码三是PreparedStatementProxyImpl类对executeQuery方法的实现，这个方法实现中调用了父类的createChain()方法，源码四为父类方法实现，这个方法的返回值是一个过滤器链类FilterChainImpl类对象，FilterChainImpl类的
preparedStatement_executeQuery(PreparedStatementProxy statement)方法实现如源码五。
public <T> T query( PreparedStatementCreator psc, final PreparedStatementSetter pss, final ResultSetExtractor<T> rse) throws DataAccessException { Assert.notNull(rse, "ResultSetExtractor must not be null"); logger.debug("Executing prepared SQL query"); return execute(psc, new PreparedStatementCallback<T>() { @Override public T doInPreparedStatement(PreparedStatement ps) throws SQLException { ResultSet rs = null; try { if (pss != null) { pss.setValues(ps); } rs = ps.executeQuery(); ResultSet rsToUse = rs; if (nativeJdbcExtractor != null) { rsToUse = nativeJdbcExtractor.getNativeResultSet(rs); } return rse.extractData(rsToUse); } finally { JdbcUtils.closeResultSet(rs); if (pss instanceof ParameterDisposer) { ((ParameterDisposer) pss).cleanupParameters(); } } } }); }
public ResultSet executeQuery() throws SQLException { checkOpen(); incrementExecuteCount(); transactionRecord(sql); oracleSetRowPrefetch(); conn.beforeExecute(); try { ResultSet rs = stmt.executeQuery(); if (rs == null) { return null; } DruidPooledResultSet poolableResultSet = new DruidPooledResultSet(this, rs); addResultSetTrace(poolableResultSet); return poolableResultSet; } catch (Throwable t) { errorCheck(t); throw checkException(t); } finally { conn.afterExecute(); } }
public ResultSet executeQuery() throws SQLException { firstResultSet = true; updateCount = null; lastExecuteSql = sql; lastExecuteType = StatementExecuteType.ExecuteQuery; lastExecuteStartNano = -1L; lastExecuteTimeNano = -1L; return createChain().preparedStatement_executeQuery(this); }
public FilterChainImpl createChain() { FilterChainImpl chain = this.filterChain; if (chain == null) { chain = new FilterChainImpl(this.getConnectionProxy().getDirectDataSource()); } else { this.filterChain = null; } return chain; }
@Override public ResultSetProxy preparedStatement_executeQuery(PreparedStatementProxy statement) throws SQLException { if (this.pos < filterSize) { return nextFilter().preparedStatement_executeQuery(this, statement); } ResultSet resultSet = statement.getRawObject().executeQuery(); if (resultSet == null) { return null; } return new ResultSetProxyImpl(statement, resultSet, dataSource.createResultSetId(), statement.getLastExecuteSql()); }
看了如上源码我们会发现FilterChainImpl类的preparedStatement_executeQuery方法执行的时候会先执行过滤器类的此方法，所以我们看看过滤器类做了什么，这里我们拿SQL监控的过滤器类（FilterEventAdapter）来分析，如下源码是此类的方法实现。我看可以看到此方法先调用了statementExecuteQueryBefore(statement, statement.getSql())方法，然后调用了下一个过滤器类的查询方法，在方法正常执行以后又调用了statementExecuteQueryAfter(statement, statement.getSql(), resultSet)方法，在方法执行异常的时候调用了statement_executeErrorAfter(statement, statement.getSql(), error)，这些方法的作用就是保存SQL执行中的监控数据。说到这里从流程上就说明了druid监控数据的来源。
public ResultSetProxy preparedStatement_executeQuery(FilterChain chain, PreparedStatementProxy statement) throws SQLException { try { statementExecuteQueryBefore(statement, statement.getSql()); ResultSetProxy resultSet = chain.preparedStatement_executeQuery(statement); if (resultSet != null) { statementExecuteQueryAfter(statement, statement.getSql(), resultSet); resultSetOpenAfter(resultSet); } return resultSet; } catch (SQLException error) { statement_executeErrorAfter(statement, statement.getSql(), error); throw error; } catch (RuntimeException error) { statement_executeErrorAfter(statement, statement.getSql(), error); throw error; } catch (Error error) { statement_executeErrorAfter(statement, statement.getSql(), error); throw error; } }
2）、监控的数据保存到哪里
这里我们简单说明，数据是保存到DruidDataSource类的dataSourceStat对象中。
3）、监控的请求如何处理的
要使用druid的监控功能需要配置com.alibaba.druid.support.http.StatViewServlet，这是一个继承自HttpServlet的servlet，用来处理访问druid监控的请求，具体处理流程如下：
5、如何去除监控页面的广告
1） 使用过druid的同仁应该都了解，druid的监控页面加载以后，footer页是有阿里的广告的如下图所示，如果是一个商业项目这个是很不雅也是不允许的，那么我们来看看如何去除广告。
2）要去除这个广告需要修改druid.jar的源码文件，具体方法是，用winRAR打开jar包，在druid-1.1.6.jar\support\http\resources\js\common.js路径下找到文件，修改common.js中如下图所示的代码，删除buildFooter函数中的代码即可：
buildFooter : function() { var html ='<footer class="footer">'+ ' <div class="container">'+ '<a href="https://render.alipay.com/p/s/taobaonpm_click/druid_banner_click" target="new"><img src="https://render.alipay.com/p/s/taobaonpm_click/druid_banner"></a><br/>' + ' powered by <a href="https://github.com/alibaba/" target="_blank">AlibabaTech</a> & <a href="http://www.sandzhang.com/" target="_blank">sandzhang</a> & <a href="http://melin.iteye.com/" target="_blank">melin</a> & <a href="https://github.com/shrekwang" target="_blank">shrek.wang</a>'+ ' </div>'+ ' </footer>'; $(document.body).append(html); },
