[MIT新技术大会]Jeff Bezos把EC2、S3和土耳其机器人描述为亚马逊“11年来的大规模万维网计算”方面的结晶,强调把后台基础设施作为服务
早在2006年,亚马逊首席执行官Jeff Bezos在麻省理工学院(MIT)主办的新兴技术大会上登台亮相,畅谈了该公司之前宣布的两款云计算产品以及公司在这方面抱有的勃勃雄心。
三年前,其中一款产品EC2(弹性计算云)还只是个想法而已。
Bezos说:“有一个不为人知的亚马逊,我们必须在后台开展这一切工作,以便让这个产品切实可行。”他随后又强调,S3(简单存储服务)、EC2和Mechanical Turk这些技术代表了“11年来的大规模万维网计算(web-scale computing)”方面的研发成果,总共耗费了亚马逊在技术和内容方面“数十亿美元的投入。”
最初开发EC2是用于亚马逊的内部基础设施。它起初只是Chris Pinkham头脑中的一个设想。2000年代早期,他担任工程师,负责亚马逊的全球基础设施。
Pinkham说:“我们基础设施技术部门的人员当时觉得,我们确实需要为开发团队提供服务,让基础设施分散化。这是一大激励因素。”
“面向全世界的基础设施服务”
Pinkham考虑了这个问题,在2003年开始努力构建“面向全世界的基础设施服务”。他希望,开发出来的服务不仅可以适用于亚马逊基础设施,可以能帮助广泛开发人员。
亚马逊的首席技术官Werner Vogels在社交问答网站Quora上写道:“我们凭经验知道,采用一种传统的多数据中心模式来维护一套可靠的、可扩展的基础设施,其在时间和人力方面的成本可能高达70%,还需要投入大量的智力资本,才能在一段比较长的时间内维持正常运行。初衷是,提供的服务可以把这个成本降低到30%或更少(我们现在知道这个成本可以低得多)。”
Pinkham和亚马逊的另一名工程师Benjamin Black撰写了一篇短文,向亚马逊的首席执行官Jeff Bezos概述了这方面的想法,后者很喜欢这个想法,随后询问了可通过云来配置的虚拟服务器方面的更多细节。
但Pinkham当时有了第二个孩子,于是与亚马逊的其他人谈论后,他离开公司,在南非设立了一家附属的开发办事处:这是亚马逊在南非所开的第一家办事处;他和另外几个工程师(包括Christopher Brown和Wiljem Van Biljon)致力于设计EC2服务。
积极大胆的做法
到2005年,亚马逊将这项技术提供给签订了保密协议的一些客户。这项服务定于2006年夏天正式发布。
Pinkham说:“亚马逊一贯主张采取非常积极大胆的举动。”
这家公司的大胆做法体现在两个方面:一是非常迅速地扩展服务,二是选择了比较低的利润,以此“把竞争对手挡在门外,”Pinkham如是说。
EC2和S3发布后,分析师们连珠炮似地向亚马逊的首席财务官Tom Szkutak提出了关于该服务的众多问题:营业利润将怎样?亚马逊网络服务(AWS)方面的发展会如何推动整个亚马逊集团的发展?又有什么样的投资计划?
据股市分析网站SeekingAlpha上的一份文字记录(http://seekingalpha.com/article/19142-amazon-com-q3-2006-earnings-call-transcript?part=qanda)显示,Szkutak在2006年说过:“我们之所以搞万维网服务,原因是过去的11年我们在这些方面做得非常好,可以构建名为Amazon.com的这个大规模万维网应用系统。于是,我们开始着手披露亚马逊的内情,外面的其他开发人员需要同样那些种类的大规模万维网服务……我们所做的就是披露那些服务,并且把这逐步打造成有意义的业务。”
Pinkham最后离开了亚马逊,与别人创办了Nimbula,这家公司试图把亚马逊通过EC3推而广之的技术,运用到内部私有云。他说:“我是从亚马逊出来的,惊讶地发现客户搭建小规模的基础设施也并非易事。”
自2006年EC2正式发布以来,其价值越来越大,它已成为亚马逊的云服务生态系统的基石。如果客户对亚马逊的任何一款高级产品(比如DynamoDB或Elastic Beanstalk)有兴趣,就有很强烈的动机来配置其中一个EC2虚拟计算实例。这对于一项旨在改善网上书店业绩的技术来说并不赖。
链接:AWS的崛起之路
该图显示,自EC2和S3在2006年发布以来,亚马逊的“其他收入”这一块的收益同比出现了大幅增长,一条迅速递增的曲线与亚马逊扩建数据中心的步伐和在该平台上提供的技术和服务的数量增长紧密对应。
就算我们采取保守的估计,以代表亚马逊网络服务公司(AWS)的“其他收入”这个数字的仅仅50%为准,增长率也是相当惊人。
亚马逊继续充实其技术,从商品化的存储和计算方案扩大到更复杂的领域,比如固态硬盘(SSD)支持的DynamoDB NoSQL数据库,或者是基于代理软件、连接到私有数据中心的存储网关,不断地为亚马逊网络服务公司添加新的方面。
亚马逊的首席技术官Werner Vogels表示,他希望“1000个平台在亚马逊环境上蓬勃发展”,声称开发方法就是不断增添服务,那样每一个开发人员都能在其平台上找到归宿。
2011年1月Werner在个人博客上写道:“AWS的开发生态系统始终非常丰富,我们希望这样子可以保持下去。我们的目的就是,确保每一个开发人员青睐的系统在AWS上始终随时可用,那样他们不用再为部署和运行可扩展、容错的应用软件而操心了,而是可以致力于开发应用软件。”
通过为AWS云提供更多的服务,亚马逊发现了有办法从一系列更广泛的应用软件获取更多类型的数据。这体现在其主要的S3存储服务中的单个文件存储区的数量出现了爆炸式增长。
亚马逊继续投资兴建数据中心,以适应其云服务蓬勃发展的需要。截至2012年,该公司在除中东和大洋洲之外的全球各大区域都建有数据中心。它的基础设施主要集中在美国东海岸地区,不过以爱尔兰为大本营的欧洲数据中心也发展起来。
由于每大区域都有多个可用区域(availability zone),而可用区域本身可能是整个数据中心或多个数据中心,所以很难确定亚马逊的数据中心到底有几个。不过,每当亚马逊宣布在新地区兴建数据中心,它的资本投入额日益增长,这表明了数据中心变得更加先进,或者变得规模更加庞大。
除了兴建数据中心外,亚马逊还一直在全球各地慎重选择一大批边缘位置。业界最近猜测德国很可能成为下一个AWS区域和建有相应数据中心的国家,那是由于德国的数据保护法律很严格。
英文原文:How Amazon exposed its guts: The History of AWS's EC2
(51CTO 布加迪编译,原文链接)