Windows Azure HDInsight 服务入门
编者注:这篇文章来自微软的首席项目经理Matt Winkler。
今天早上我们给Windows Azure用户做了一些关于递交Hadoop的大的公告。Windows AzureHDInsight是部署、管理和扩展基于Hadoop解决方案的最简单方法。此版本包括:
· Hadoop 确保最新稳定版本的更新:
o HDFS 和Map/Reduce
o Pig
o 配置单元
o Sqoop
· An SDK for writingHadoop jobs using .NET and Visual Studio
- 提高的预览服务的可用性
- 本地的,开发人员安装的Microsoft HDInsight 服务器
- 使用.NET 和 Visual Studio为编写Hadoop作业的SDK。
社区的贡献
作为对 Apache ™Hadoop ® 一贯承诺的一部分,团队已积极地提交对 Apache ™ 所做的更改。为了与HDFS 和 Map/Reduce有关的签入,通过按照分支-1 双赢你可以跟踪这项作业的进度。我们还正在推动其他项目,包括配置单元、Pig和Hbase. 这套组件才刚刚开始,有了每月的提前刷新,我们将添加额外的项目,例如Hcatalog。
获取HDInsight 服务访问权
为了开始,到http://www.hadooponazure.com提交邀请表格。在容量允许的范围内,我们发出邀请码。在预览中,您可以提供一个群集,5 天内免费。我们已经超容易利用Windows Azure Blob 存储器,以便可以将您的数据永久存储在Blob存储器中,只有当您需要处理数据的时候,给你带来 Hadoop 群集。用方式,你只能使用您需要的计算,当你需要它的时候,利用Windows Azure存储器的强大功能,例如数据的功能测试、从任何应用程序使用该数据。
简化开发
为了允许一个丰富的开发人员生态系统Hadoop 被建立,我们正在利用这一点,使用您熟悉的语言使其更容易地开始编写 Hadoop 作业。在此版本中,您可以使用 JavaScript 打造Map/Reduce作业,以及使用托管在集群仪表盘上的JavaScript控制台设计Pig和Hive的查询。JavaScript 控制台还以简单的语法直接从web浏览器提供浏览数据和改进作业的能力。
对于.NET 开发人员来说,我们已经建立了在 Hadoop 流上的 API,允许使用.NET编写Map/Reduce作业。这在NuGet中可用,代码托管在CodePlex上。一些功能包括:
- 松散或牢固键入的选择
· 在内存中调试
· 直接给 Hadoop 群集提交作业
· 在 C# 和 F # 中的样本
入门
· Windows Azure HDInsight 服务预览注册。
· 下载Microsoft HDInsight 服务器社区技术预览。
· 开始使用.NET SDK For Hadoop。
首席项目经理Matt Winkler