Jedis分片Sentinel连接池实验
Jedis分片Sentinel连接池实验
1.起因
众所周知，Redis官方HA工具Sentinel已经问世很久了，但令人费解的是，Jedis官方却迟迟没有更新它的连接池。到目前Maven库中最新的2.7.3版本为止，都只能要么使用分片连接池，要么使用不分片的Sentinel连接池。如果既进行了Sharding，又对每组的主从实例配置Sentinel进行监控，怎么办？答案是只能自己开发了，晕！还好万能的GitHub上已经有人提供了一个简单可用的分片Sentinel连接池实现，于是就直接拿来用用。
2.Sentinel配置
我的Redis是这样配置的：一个主6379带一个从16379，名字叫mymaster-6379；另一个主6380带另一个从16380，名字叫mymaster-6380。Sentinel按照惯例，起三个实例26379,26380,26381。以其中一个为例，其他的Sentinel配置只是端口号不同：
port 26379
dir /tmp
sentinel monitor mymaster-6379 192.168.241.220 6379 2
sentinel down-after-milliseconds mymaster-6379 30000
sentinel parallel-syncs mymaster-6379 1
sentinel failover-timeout mymaster-6379 180000
sentinel monitor mymaster-6380 192.168.241.220 6380 2
sentinel down-after-milliseconds mymaster-6380 30000
sentinel parallel-syncs mymaster-6380 1
sentinel failover-timeout mymaster-6380 180000如果想要Sentinel快速failover，就把sentinel down-after-milliseconds mymaster-6379 30000中的30秒改短点，这个时间是Sentinel Ping不到Master多久后开始failover。具体Redis主从复制和Sentinel如何配置就不赘述了，请参考我以前写的Redis主从和HA配置。
3.Jedis客户端扩展
3.1 测试代码
将GitHub那个开源的连接池引到工程里，使用起来很简单，只需通过构造方法传入所有Sentinel实例的连接地址以及master的名字列表。连接池配置可以使用默认的。
注意：一定要每次重新从pool中取一个连接，否则会一直访问老master。
public static void main(String[] args) throws Exception {
Set<String> sentinels = new HashSet<String>();
sentinels.add("192.168.111.222:26379");
sentinels.add("192.168.111.222:26380");
sentinels.add("192.168.111.222:26381");
ShardedJedisSentinelPool pool = new ShardedJedisSentinelPool(
Arrays.asList("mymaster-6379", "mymaster-6380"),
sentinels
);
while (true) {
String ts = new SimpleDateFormat("hh:mm:ss").format(new Date());
ShardedJedis jedis = pool.getResource();
try {
System.out.println(ts + ": hello=" + jedis.get("hello"));
} catch (Exception e) {
System.out.println(ts + ": Cannot connect to Redis");
} finally {
jedis.close();
}
Thread.sleep(500L);
}
}3.2 连接泄露Bug
循环时发现ShardedJedisSentinelPool连接池有时竟然满了！毕竟默认是8个连接，但为什么会这样？查了下代码，果然是这个原因！这个新扩展的pool没有为getResource()出来的ShardedJedis设置DataSource，所以关闭ShardedJedis时没法正常还回到连接池中。
补丁很简单，就是参照Jedis的ShardedJedisPool，覆写一些资源管理的方法。
@Override
public ShardedJedis getResource() {
ShardedJedis jedis = super.getResource();
jedis.setDataSource(this);
return jedis;
}
@Override
public void returnBrokenResource(final ShardedJedis resource) {
if (resource != null) {
returnBrokenResourceObject(resource);
}
}
@Override
public void returnResource(final ShardedJedis resource) {
if (resource != null) {
resource.resetState();
returnResourceObject(resource);
}
}3.3 KeyTag
此外，ShardedJedisSentinelPool的构造方法中没提供传入KeyTagPattern的地方，这也需要手动传入到ShardedJedisFactory中。需要的话，自己动手加一下吧！
4.Failover实验
以key=hello为例，事先在6380实例上准备好key的值。
4.1 实验结果
首先，启动Java程序不断访问。然后，在后台kill掉6380那个Redis实例。控制台输出会警告无法连接Redis。大概30秒左右，本地连接池注册的Sentinel监听器会收到failover消息。于是，从pool.getResource()拿到的连接自动切换到Slave实例了，又可以查询到hello对应的值了。
10:13:42: hello=nihaonihao111
10:13:42: Cannot connect to Redis
10:13:43: Cannot connect to Redis
10:13:45: Cannot connect to Redis
10:13:48: Cannot connect to Redis
10:13:50: Cannot connect to Redis
10:13:53: Cannot connect to Redis
10:13:56: Cannot connect to Redis
10:13:58: Cannot connect to Redis
10:14:01: Cannot connect to Redis
10:14:03: Cannot connect to Redis
10:14:06: Cannot connect to Redis
10:14:08: Cannot connect to Redis
10:14:11: Cannot connect to Redis
八月 24, 2015 10:14:13 上午 redis.clients.jedis.ShardedJedisSentinelPool initPool
信息: Created ShardedJedisPool to master at [192.168.111.222:6379 192.168.111.222:16380 ]
10:14:13: hello=nihaonihao111
10:14:14: hello=nihaonihao111
10:14:14: hello=nihaonihao1114.2 如何恢复
如果想反复试验怎么办？很简单，重新启动6380实例，但此时16380已经变成了Master，6380成了它的Slave。没关系！随便连接到一个Sentinel实例上，执行sentinel failover mymaster-6380就可以强制failover一次。这样6380和16380的主从关系就又恢复了！
5.总结
总体来说这个连接池还是不错的，虽然有点小问题，但免去了开发的麻烦！不知道用于生产环境的话，是否还有其他“坑”，不管怎样可以先用着，感谢作者的分享！
