那些IT厂商的Hadoop范儿(转)

 只要谈论大数据,就一定会提到Hadoop。短短的几年时间,Apache Hadoop已经迅速成长为首选的、适用于非结构化数据的大数据分析解决方案。最初,Hadoop项目是由原Yahoo的Doug Cutting创建的,而"Hadoop"这个名字也是来自于Doug Cutting的孩子的玩具的名字,一个可爱的黄色小象。

  Hadoop主要由HDFS、MapReduce和HBase三部分组成,是一个能够便捷的开发和运行处理大数据的开源软件平台,最大的特点是其极大的扩展性和良好的伸缩性,可以利用高性价比的X86服务器组成高性能集群,当数据量增加到无法负荷的时候,只需增加相应节点即可满足计算需求。

  Cloudera公司是最早将Hadoop商用的,为合作伙伴提供相关的解决方案,产品主要为CDH,Hadoop的创始人 Doug Cutting也就职在此。

  Hadoop的版本除了社区的Apache Hadoop、cloudera外,各大IT巨头EMC、IBM、英特尔、甲骨文等为了给各自的大数据战略铺路,与Hadoop都有合作计划和相应的产品推出。

  

 

  对Hadoop贡献公司的名单

  EMC Greenplum HD

  EMC推出了世界上第一个定制的、高性能的Hadoop专用数据协同处理设备Greenplum HD数据计算设备(Data Computing Appliance),目前有社区版和企业版两个版本。该设备结合了Hadoop和EMC Greenplum数据库,从而在一个单一、无缝的解决方案中实现了结构化和非结构化数据的协同处理。通过强大的Greenplum SQL以及可访问HDFS数据的先进分析功能,可执行跨平台分析。

  EMC Greenplum HD企业版与Apache Hadoop软件实现了100%的接口兼容性,可以提供无缝的应用迁移,此外还提供了2倍到5倍于Apache Hadoop标准打包版的性能。

  IBM InfoSphere BigInsights

  几年前,IBM开始只是在其实验室尝试使用Hadoop,但是现在已经将相关产品和服务纳入商业版。

  IBM在去年推出了InfoSphere BigInsights软件,该软件包包括Apache Hadoop发行版、面向MapReduce编程的Pig编程语言、针对IBM的DB2数据库的连接件以及IBM BigSheets。

  该软件包括基本版、免费版和企业级支付版。据IBM声称,客户用不了30分钟就能搭建起Hadoop集群,并将数据转移到集群里面,数据处理费用是每个集群每小时60美分起价。

  英特尔Hadoop 发行版

  英特尔Hadoop发行版从硬件和软件层面分别对Hadoop进行优化,比开源版本在在定程度上提高了稳定性和易用性。英特尔在CPU、存储、内存等技术上不断创新,为Hadoop的发展提供硬件支持,还基于Hadoop开源框架针对英特尔平台进行了一系列优化工作,使得在英特尔平台上实现Hadoop的处理能力达到“接近于实时”的处理效果。

  中国联通通过部署英特尔的Hadoop发行版解决查询移动互联网用户的上网记录的难题,查询时间由以前的好几个小时到现在的秒级。

  甲骨文大数据机

  甲骨文与Cloudera公司达成合作协议,Cloudera将向Oracle大数据机(Oracle Big Data Appliance)提供Apache Hadoop系列软件。

  甲骨文大数据机(Oracle Big Data Appliance)将甲骨文-Sun分布式计算平台与Cloudera的Apache Hadoop发行版、Cloudera管理器管理控制台、R分析软件的开源发行版以及甲骨文NoSQL数据库结合起来。甲骨文还包括连接件,因而让数据能够在大数据机与甲骨文Exadata或传统的甲骨文数据库部署环境之间来回传送。

  Big Data Appliance为全架构产品,每个架构864GB存储,216个CPU内核,648TBRAW存储,每秒40GB的InifiniBand连接。Big Data Appliance售价45万美元,每年硬软件支持费用为12%。Big Data Appliance被视为包括Exadata、 Exalogic和 Exalytics In-Memory Machine的“建造系统”。

  SAP HANA集成Hadoop

  SAP在大数据战略里形成了以SAP HANA为核心,以SAP Sybase数据库为基础。在这一战略中,特别重要的一环就是Hadoop。通过SAP HANA和SAP Sybase IQ与Hadoop的集成,增强对Hadoop等大数据源的获取能力,并提供深度集成的预处理基础架构。

  微软SQL Server 2012全面支持Hadoop

  微软在大数据的布局上主要以以SQL Server平台为主,并集成Windows Azure公有云与Hadoop系统,形成覆盖整个产业链的完整解决方案。此外,微软与惠普等硬件厂商合作开发了大数据一体机。

  微软在2011年宣布将于从雅虎分拆出来的Hortonworks合作开发,在Apache Hadoop上搭建Windows Server以及Windows Azure平台,SQL Server 2012将提供对Hadoop架构的全面支持。

  一方面,会将Hadoop和SQL Server做一个整合,成为数据平台中的一部分;另一方面,是把Hadoop整合到微软的Windows Azure公有云里,提供相应的服务。

  NetApp Open Solution for Hadoop

  NetApp与 Cloudera合作开发 NetApp Open Solution for Hadoop 解决方案,具有高度的可扩展性和企业级存储功能,提高分析应用的使用率,从密集型数据和高计算负载中获得实时的结果。

  NetApp Open Solution for Hadoop 是支持立即部署的模块化组合套装Hadoop 集群,用于企业级Hadoop 部署。NetApp大中华区技术及专业服务部总监何英华表示,NetApp与Cloudera的合作关系很密切。

  华为对Hadoop积极投入

  华为公司在Hadoop重要贡献公司名单内,排在Google和Cisco的前面,说明华为也在积极参与开源社区贡献。华为副总裁、IT产品线的CTO李三琦表示,本身华为的核心员工有来自雅虎以及Google,并且华为对开源项目也非常重视,其中Hadoop就是投入的一个领域、不仅是Hadoop本身形成了一个产业,还包括很多开源工具、开发框架。

  Hadoop China发起人查礼博士表示,开源Hadoop技术难度大,需要专业技术人员提供支持,且技术门槛高,一般企业没有技术实力使用开源版的Hadoop

  

 

  IDC在大数据的相关研究中指出,未来Hadoop将逐渐的迈向商业化,就象当年的Linux市场一样,从2010年到2011年之间Hadoop的生态环境已经形成,未来将会有主流的Hadoop商业化的打包产品不断推向市场。

posted @ 2012-11-30 13:23  蜗牛123  阅读(227)  评论(0编辑  收藏  举报