核心只读数据库实例故障应急解决方案

        目前公司有一套核心交易数据库配置了AlWaysON,SQL 2012版本, 1主4从, 其从库(8,14, 8.15) 这2台只读的从数据库服务器, 后台程序和wms等很多程序,都是直接配置IP连接这个2个机器,而且这2台机器已经过保,如果其中一天机器出现故障,不能使用,怎么处理?

        怎么解决?

        先谈谈后果:

              这2台机器都有很多程序只读查询操作,一旦一台挂了,起不来(虽然概率很低), 连故障服务器的程序,IP要改,同时程序要重启, 这些程序和服务,还很多,很容易漏。一旦出现故障,至少按小时算业务才能恢复,波及的面很广,肯定一级事故,其他最大的老板肯定会知道。

         怎么处理:

             自己咨询了其他同行他们的做法:

                1,用域名替换IP,当IP的服务器有问题,修改DNS服务器就可以

                2,使用类似的MyCAT中间件,目的读库有故障漂移到其他读库中

                3,使用硬件,如携程他们的A10,可以做相关的分发

                4,可以使用SQL AlwaysON的只读路由,让程序连主库,在主库做只读路由分发到读库

          的确这些方法都能解决前面提到的读库故障转移:

               1,用域名替换IP,同行能用,但是和他们这边的开发和运维聊了后,说这个域名替换IP的方案不可靠, 因为现在我们程序用域名,有时就出现莫名其妙的延迟问题,现在运维的技术只能哈哈,无法保证。 这个方案不行

               2,使用中间件来做故障转移,和相关的框架开发,领导聊了,结论:没人没时间,不稳定,而且需要大量的测试,做不了。 这个方案不行

               3,购买A10这样的硬件,贵,我们提也会被公司否。  这个方案不行

               4,利用AlwaysON的只读路由,  自己也想了,现在因为主库的压力大查读库的,变成了先要到主库做一次路由分发,主库压力会更大,而且路由无法指定到那个机器,不能做流量控制。  这个方案不行

       

        这一看市面上通用的方法一个也不适合我们,只能祈祷这2台服务器不出故障,即使出故障,也能重启后就好了。 真的只有这样的吗? 还有其他办法解决这个难题:

              这个问题一直困扰,怎么解决,没有其他办法了,看起来所有的办法都不是很好的,只能留下一个笨办法

              比较好方案   找到全部连这2台的程序配置文件和需要重启的服务,预先找到全部,一旦有故障起不来, 立即批量修改和重启。 这样就可以了

             但是这个方案我一直想找开发和测试聊,看看能否做出个“故障预案“,一直没有去做。

             公司一部分的数据库有MySQL,在配置keepalived,MHA,和MMM,大量的使用了虚IP,在CentOS里配置虚IP结合这些开源的组件,的确很方便,在Windows里是否也可以利用这虚IP,如果哪天8.15这个数据库服务器挂了,是否也可以虚IP

             自己想了想,windows里加虚IP,就是直接加个IP就可以了。如果真的8.15挂了,我把8.15的IP加到8.14服务器,是否可行?

               又出现问题:

                    windows的故障转移集群和AlwaysON ,连的是8.15,把IP加到8.14是对现有的集群有影响。 

                  后来想了想:

                        如果真的是8.15集群出故障,启动不来,不是可以把8.15踢出故障转移集群和AlwaysON,再添加IP到8.14不就好了。   这几天测试了一下这个流程,的确是可以的。

          最终的解决方案:

               (8.15, 8.14) 这2台读库服务器,出现故障,无法起来时,把故障的服务器踢出故障转移集群和AlwaysON,再添加新IP到其他读服务器上,同时前提在各读库服务器加上统一的账户和密码。这样,虽然不能做到无缝切换,

          但也能最大程度上减少故障时间,等后面条件成熟了,可以用其他办法。

                额外收益:

              目前8.15和8.14因为服务器过保,目前也准备用这个方案来做服务器替换,用这个加虚IP的方法下架旧服务器和上架新服务器,过程和方法如下:

                  1,切换过程详细介绍: 虚IP解决AlWaysON读库服务器过保替换 

          总结:

                    希望对大家解决问题思路上有些启发,天无绝人之路,只要你用心,会有收获,有时收获还很多!!

    

posted @ 2019-07-31 20:05  zping  阅读(800)  评论(2编辑  收藏  举报