Couchbase进阶-集群与版本升级
最近在负责公司Couchbase版本升级工作,之前只有一台Cache服务器,使用Couchbase Enterprise Edition 1.8,为避免单点故障现在需要新增加一台Cache服务器做负载,并对老版本couchbase进行升级。(以下均在windows系统下操作)
在进行主题之前先提一下Couchbase一些基本概念:在Couchbase的集群架构中,没有中心节点和Router的概念,这些工作是由Smartclient完成的,在客户端与couchbase server交互时,Couchbase集群是作为一个黑匣子存在的。客户端负责客户程序与群集里独立节点的通信,首次连接的那个节点并不会充当代理或者风发的角色。Smartclient或Moxi(couchbase server端的proxy组件)会加载vBucket映射表,并决定连接到集群里的哪个节点去获取和存储数据。如果集群的拓扑图改变了(比如执行rebalance或者failover操作),客户端库会自动处理任何会话错误。可以这样理解,集群的配置和结构,对应用程序是透明的,你无需去关注。
什么是Buckets,Buckets是独立的虚拟的数据容器,一个bucket就是couchbase服务器集群中的一个逻辑组,可以被集群中的多个客户端应用使用。它提供安全的机制来组织、管理、分析数据存储资源。
什么是vBuckets,一个vBucket定义为couchbase集群里key空间的一个子集的拥有者。通过使用vBuckets,信息在集群里分发更有效。vBucket系统被用于分布式数据,以及支持多节点间的数据复制。
在Couchbase中bucket有两种类型,一种是couchbase类型,另一种是memcache类型,Couchbase类型bucket支持数据的持久化,因为它的数据是存储在磁盘上,把活跃的数据读取到内存中供客户端使用(后续的备份和Failover也仅是针对着用类型的bucket),而memcache类型的bucket是内存级别的,所有的数据均保存在内存中。现在我们开始切入主题,我们老的couchbase服务器,使用了这两种类型的bucket,我们使用couchbase类型的bucket存储的是持久化的数据,供我们的客户端调用,这部分数据相当重要且不能丢失。
基本思路:
- 备份老的couchbase服务数据
- 将新couchbase服务器加入到老服务器集群中,并通过rebalance同步两台服务器cache数据
- 修改客户端Couchbase配置节点
- Failover老服务器进行升级
第一步备份:
根据Couchbase官方说明(http://docs.couchbase.com/couchbase-manual-2.5/cb-install/#getting-started)couchbase由1.8升级到2.0+必须要经过1.8.1版本,这个过程是要对数据类型的升级。
而且couchbase1.8和2.5版本的备份方式不一致,这里提供两个版本的备份脚本(注意只能备份Couchbase类型的bucket)
#1.8版本: @echo off echo 开始执行Couchbase buckets备份 cd "C:\Program Files\Couchbase\Server\bin" echo 当前路径:%cd% cbbackup "C:\Program Files\Couchbase\Server\var\lib\couchbase\data\default-data\default" c:/cbbackup/ pause... |
#2.5版本 @echo off echo 开始执行Couchbase buckets备份 cd "C:\Program Files\Couchbase\Server\bin" echo 当前路径:%cd% cbbackup http://localhost:8091 c:/cbbackup/ -u Administrator -p 123456 --single-node pause... |
第二步 将新couchbase服务器加入集群,操作如下:(10.4.18.26老Server,10.4.18.101新Server)
-
打开10.4.18.26 Couchbase 控制台"MANAGE->ServerNodes"节点,单击"Add Server",如图:
-
点击当前页面的"Pending Rebalance",单击"Rebalcnce"进行两台server的数据同步,如图:
-
系统自动实现数据同步,该过程可能会持续很长时间,如图:
说明:Couchbase有两种类型的Bucket:Couchbase和Memcache,Couchbase类型可实现每台server node拥有完整的副本,支持故障转移Failover;Memcache不支持Failover,多server node共同实现完整数据。
-
开启Auto-Failover,保证一台机器down掉,另一台机器能正常工作,操作如图:
说明:Couchbase默认是关闭Auto-Failover,需要手动开启,Timeout默认最低为30秒。
第三步 修改客户端配置节点:
<servers bucket="default" bucketPassword=""> <add uri="http://10.4.18.101:8091/pools" /> <add uri="http://10.4.18.26:8091/pools" /> </servers> |
说明:在原有uri后添加一个uri
第四步 升级Couchbase版本
升级老版本couchbase直线需要将老的服务从集群中挂起,操作如下:
-
登录10.4.18.26 Couchbase 控制台,使用Failover 挂起10.4.18.26服务,如图:
1.8版本Couchbase升级到2.5版本,要经过1.8.1版本,先停掉Couchbase服务(windows服务),直接运行1.8.1版本couchbase客户端文件,这个版本会重复安装两次,第一次是upgrade 注册表数据,第二次才是完整的安装升级,升级完1.8.1,再次进入windows服务关闭couchbase服务,进行2.5版本的升级,该过程只执行一次。
升级完成后,我们需要将服务器重新加入集群,操作如下:
-
Add Back让10.4.18.26重新加入集群,使用Rebalace同步数据。
整个操作过程看起来简单,其中做了很多次的实验和测试,生产环境的更新只能确保万无一失。测试代码已分享至github。点击这里!