[Hadoop in China 2011] 蒋建平:探秘基于Hadoop的华为共有云
Hadoop最初起源于国外,在国外的发展速度迅猛,被众多厂商捧得一片火热。而反观国内,似乎声音很小。在本次的Hadoop中国大会上,与以往 不同的是,诸多国内厂商也加入进来,并且分享了在Hadoop应用方面的经验。下面来自华为公司的企业公有云服务CTO蒋建平先生为我们揭秘华为公司的企 业公有云服务。
▲华为企业公有云服务CTO蒋建平
蒋建平先生认为,视频转码、3D渲染、金融领域计算、天气预测、风洞计算、地址模拟、仿真、数据挖掘以及其他诸多领域产生了PB级别的海量数据,对其进 行分析需要超大计算量,并且业务非常复杂,业务开发也比较困难,为了能够灵活地进行业务调度管理,高效地资源分配以及快速地完成业务,企业需要一个整体的 解决方案,由此产生了基于Hadoop的超级计算云服务,在这之中,Hadoop是核心,但不是唯一,其还需要其他诸多要素一起配合。
由此,华为公司为帮助企业更好地节省成本,更快地部署业务,针对各不同需求的富媒体行业建构了一系列的公有云平台,如游戏云、超级计算云、桌面云、会议云以及云渲染等等。而这些都是构建在华为一个统一的云平台之上的。
▲华为公有云后台IT基础设施总体架构
▲超级计算云服务后台组网方案示意图
自华为前段收购华为赛门铁克公司之后,形成了一个集企业级服务器、存储以及网络安全设备于一身的整体解决方案供应商。而这些都在华为的云服务后台中得到了充分的体现。并且,其公有云管理平台GalaX8800也是属于华为公司自有的。
华为云计算管理平台GalaX8800是华为云计算解决方案中的一个部件,通过统一的架构,提供客户化的云计算管理系统。其统一的接口界面、管理系统和软件架构,能够为用户提供各种型号规格要求的虚拟机,并能完全兼容多种操作系统,发挥用户个性化的应用程序。
据蒋建平先生介绍,华为公有云服务能够为用户提供弹性伸缩能力以快速响应业务需求。以最小的代价支撑业务需求的不确定性,并且能够在短时间内实现大规模的资源部署,快速响应业务需求,保证业务体验。
并且,华为公有云服务是目前业界最大规模的HA集群,每集群1024个服务器, 同一个集群内所有虚拟机共享无锁化的弹性分配云存储,客服了读操作的性能瓶颈,使得物理服务器的虚拟机迁移及HA调度可在更大尺度内进行。据蒋建平先生透 露,目前华为SingleCloud已达到128个服务器集群。同时,其还引入了网络目录服务,实现了物理与逻辑L2地址的解耦,突破了普通L2网络节点 规模不超过4096节点的限制,支持大层2网络内所有虚机的移动性。
华为云服务平台通过自动检测服务器或业务系统负载状况,能够自动均衡各服务器及业务系统负载以确保业务系统最佳响应。并且还能够自动检测各区域温度状况以平衡数据中心内部温度,提高数据中心能效比,降低整体运营TCO。
其通过基于全网的管理系统,可实现全网资源的统一调度,全网各地区用户可通过授权管理本地资源,针对客户的资源出租,允许客户在签约资源内进行管理。并且其弹性IP解决方案可实现三层网络跨资源调度,MSTP建立大二层网络,两地资源共享,实现跨域资源调度。
华为云计算平台采用的分布式机头、分布式条带化、多点复制、快速快照和恢复、动态负载均衡、分布式内存Cache、低成本廉价存储服务器等关键技术为用户提供了极大的便利,能够以低成本海量存储迎接数字洪水的挑战。