Continuuity 首席执行官:Hadoop 真特么难用
在本周的大数据研讨会上,Continuuity的首席执行官指出Hadoop实施难度大,极为难用,如果不解决技术复杂性问题,Hadoop将被自己终结。
Continuuity的首席执行官Todd Papaioannou曾经是雅虎的首席云计算架构师,当年他和120个弟兄接到一个艰巨的任务:在拥有40万个节点的雅虎私有云中配置4.5万台Hadoop服务器,为5000位雅虎开发人员创建一个稳定的开发平台。在Papaioannou的回忆中,当时的场景非常不堪:
负责建设Hadoop平台的团队个个手忙脚乱,互相从代码库中翻找可供粘贴整合的代码,就像一群中学生在车库中做手工。当基础架构总算搭好的时候,开发者又花了4-5个月才开始发布应用,这也严重影响了雅虎的产品创新进度。
“那段时间如果你留意的话,yahoo的产品时不时会出一些状况”,Papaioannou说道。他认为从雅虎的Hadoop实施中学到了重要的一课:
Hadoop实在太难用了。它属于底层基础软件,而今天大多数IT人员都不熟悉底层基础软件。
有过帮雅虎实施Hadoop项目的痛苦经历后,Papaioannou下决心创办一家能够降低Hadoop部署和应用开发门槛的公司—Continuuity,在Hadoop和HBase的基础上创建一个抽象层—AppFabric,屏蔽掉Hadoop底层技术的复杂性,让更多的开发者能够开发大数据应用,而不仅仅是Hadoop(Mapreduce)应用。利用YARN和HBase,Continuuity开发出了能实时处理流数据的方法,并且能在任务不中断的情况下动态扩展Hadoop集群的规模。
Papaioannou认为Hadoop开发者不应该为节点、集群、数据块等本应由工程师处理的事担心。这有些类似Heroku、Cloud Foundry和Windows Azure提供的PaaS服务,事实上Continuuity计划在2013年推出AppFabric的公共云服务,以配合目前企业内部使用的版本。