稳定高效大型系统架构---集群中间件开发
2009-05-12 13:39 周国选 阅读(794) 评论(2) 编辑 收藏 举报一个偶然的机会,使我接处到Corba中间件。当时公司还特意让我北京borland公司学习一段时间。我对其visibroke中间件佩服的五体投地,从理论上讲:如果你架设的中间层,可以实现多台并发运行,又能实现负荷平衡,还能实现故障热切换,那么你就有了99.99999%稳定的中间件服务器。对此,我在学习时间倾赋了所有时间和精力,就连女朋友吵着去看长城,我都不想去。
那现在来说,稳定的中间件应该是什么样子呢?
对于客户端请求,如果发现服务停止,可以实现服务无缝转移---这叫不丢失任何服务.
对于多个客户端请求,可以讲请求轮巡到不同的服务器上---这样叫负荷平摊,如果再做到可以根据客户端数量方面地增减服务器数量,那就能很通过简单增加服务器,实现系统效率的提升。
最牛的是,如果你再加上分布式程序设计。一个函数,根据服务器负荷平摊的特点,可以让多个服务器,同时为一个函数工作。visibroke完全可以做到这点。
可以visibroke太贵了,好多西就是贵,贵得公司放弃这个选择。不过,对此优秀的中间层算法,在我脑子里一直徘徊。后来我换了公司,新的看中我对中间层的理解,特聘请我开发中间层。到目前为此,我的中间层也在几个城市三警系统上安全稳定地运行,还没有出现过故障。虽然还有很多不完美的地方,但今天把这些实现算法拿出来,提供交流。
从纵向上,思考:
第一:客户端请求,实现轮巡。
知道了请求,需要轮巡。就要先知道有那些服务器---》 设计服务器注册注销机制。
还要知道请求当前,每台服务器上有那些负荷---》客户端请求计算机制。
然后根据这些,计算当前请求由那个服务器来完成任务。
第二:故障热切换
经试验验证,故障有三种情况
A)请求选择服务器前,有故障。
B)服务器选中后,准备开始要服务时,故障。
C)服务正在进行时,发生故障。
为解决以上问题,我做出如下架构:
1. 在客户端,开发了安全访问机制,保证在有服务存在的情况,单次的访问异常,可以容错;同时若访问时发生故障,重新请求。
2.中间层开发了负荷平衡机制,其建立的集群,对客户端来说,是一个透明体。客户端只需要知道公布的服务集群IP地址,由负荷平衡自动分配请求;同时服务器发生故障时,自动从集群中移去,将请求切换至其它正常的服务器上。(中间层是一个无状态,多线程,分布式的应用程序服务,对任何一个请求,由哪台服务器提供服务都可以达到一致的目标)
3. 其架构如下图:
实现算法