在数据库时代,计算机在分布体系中的角色有明确划分,不是客户机就是服务器,通常是一台服务器连着多台客户机,服务器承担存储和计算的工作,客户机负责显示服务器的处理结果。高性能的计算机,比如小型机会被做为服务器,低端的计算机,如个人计算机成为客户机。这就是以前经常说的Client/Server(客户机/服务器)结构。

    到了大数据时代,这种角色已经悄然发生了变化。客户机/服务器的概念已经模糊化,被“节点”的概念取代。而这种变化的原因,归根结底,还是数据处理需求发生了本质变化,迫使数据处理模型对应改变。有经验的数据系统管理员不妨对比一下,在数据库里,我们面临的数据存储和计算量是多少;而在大数据环境里,这些数据存储和计算量又是多少?正是由于大数据集群的数据存储和计算量实在太大,如果继续按照C/S模式来处理数据,就无法适应这种巨量的数据处理需求,同时还有设备采购成本和运营成本的带来压力,也迫切需要转变系统运行模式,重新设计系统架构。这样,节点的概念便应运而生。现在的大数据环境里,数据处理都被设计成按功能划分,切割成不同的阶段和模块,每个节点同时承担客户机和服务器的双重角色,即发送指令又处理指令。当发送指令的时候,它是一台客户机,等待服务器的反馈;当接受和处理指令的时候,它是一台服务器,执行数据处理工作。这种角色和工作模式的变化,既有简化数据处理设计和流程带来的好处,也使得我们对计算机性能的要求不那么关注了。现在的大数据集群里,个人计算机所以能够完全代了小型机,正是这个原因。并且由于进一步降低成本和节约能源消耗的需要,以手机为代表的移动架构硬件也越来越多地进入到大数据环境里,这对加快大数据的普及是十分有利的。

    以下是Laxcus集群的节点分布图,所有节点都被设计成按照功能划分,它们在集群中承担着不同的工作,协同执行数据处理任务。



posted on 2016-01-28 11:05  laxcus  阅读(532)  评论(0编辑  收藏  举报