hbase数据库连接池 未设置最大链接数导致数据库操作异常频发

hbase数据库连接池 未设置最大链接数导致数据库操作异常频发

简介

业务中将主要数据存储定位hbase存储，近期突然发现数据比对不上，发现实在创建环节发生异常导致逻辑执行终端（hbase存储或查询出现异常）。

表现：

供应商提供参考：

供应商提供的解决方案：

        关闭超过90s未使用的链接是一种保护方案，可以重新链接一下就好了

第一次按照解决方案优化结果

按照供应商提供的解决思路，对核心调用环节增加了异常捕获和重试（4次），依然还是有很多超过两次以上的异常报错，因为可能造成的影响很大，因此继续和供应商沟通是否有彻底解决方案，避免此类问题出现或者将降低频率降到最低，每天遇到几百次异常这个意味着我们应用属于不稳定不可靠

再次沟通，确认为什么需要释放链接以及满足什么条件释放超过90s未使用的链接

1.服务端链接数超过1000

2.链接超过90s未使用

应用现状

1.目前hbase实例只有我们一个业务再用

2.连接池初始值和最小连接数初始值都是10

3.未设置最大链接数据（最主要）

4.集群大小8

问题定位

1.因为业务有大量读写需求，可能会有负载不均的情况导致链接增长过快

2.连接池参数配置不合理

解决方案

1.现有代码不进行调整

2.设置最大链接数结合集群数量确保已知连接数不超过1000或控制在500以内 

注：链接池连接数并不是越大越好，创建和释放链接都是比较消耗资源和耗时的

3.最大链接数设置为50  （50*8=400）

注：集群最多占用400个链接不会触发服务端链接释放

结果：

        重启应用后链接释放异常得到解决，后续还需要持续观察两天。目前看已经彻底解决

参考资料：

通过Lindorm宽表SQL Java API连接并使用宽表引擎

 数据库连接池的大小你真的设置对了吗

Apache Druid数据库连接池的大小你真的设置对了吗

原文链接：https://blog.csdn.net/u011236069/article/details/123210238