Azure HDInsight 和 Spark 大数据实战(二)
HDInsight cluster on Linux
登录 Azure portal (https://manage.windowsazure.com )
点击左下角的 NEW 按钮,然后点击 DATA SERVICES 按钮,点击 HDINSIGHT,选择 HADOOP ON LINUX,如下图所示。
输入集群名称,选择集群大小和账号,设定集群的密码和存储账号,下表是各个参数的含义和配置说明。
Name |
Value |
Cluster Name |
Name of the cluster. |
Cluster Size |
Number of data nodes you want to deploy. The default value is 4. But the option to use 1 or 2 data nodes is also available from the drop-down. Any number of cluster nodes can be specified by using the Custom Create option. Pricing details on the billing rates for various cluster sizes are available. Click the ? symbol just above the drop-down box and follow the link on the pop-up. |
Password |
The password for the HTTP account (default user name: admin) and SSH account (default user name: hdiuser). Note that these are NOT the administrator accounts for the virtual machines on which the clusters are provisioned. |
Storage Account |
Select the Storage account you created from the drop-down box. |
点击 CREATE HDINSIGHT CLUSTER 即可创建运行于 Azure 的 Hadoop 集群。
上述过程快速创建一个运行Hadoop 的 Linux 集群,且默认 SSH 用户名称为 hdiuser,HTTP 账户默认名称为 admin。若要用自定义选项,例如使用 SSH 密钥进行身份验证创建群集或使用额外的存储空间,请参阅 Provision Hadoop Linux clusters in HDInsight using custom options ( https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-provision-linux-clusters/ ) 。
Installing Spark
在 HDInsight 中点击创建的 Hadoop集群(在本例中集群名称为 Hadooponlinux ),进入 dashboard,如下图所示。
在 quick glance 中拷贝 Cluster Connection String的值,此为登录 Hadoop on Linux 配置控制台 Ambari的地址,在浏览器中粘贴 Cluster Connection String的值,此时出现登录用户名和密码的验证。此时的用户名为上一步中快速创建hadoop集群时默认HTTP用户名admin,密码为快速创建hadoop集群时设置的密码。
正确输入用户名和密码后,出现 Ambari的登录用户名和密码验证,此时输入用户名 admin 密码为hadoop即可进入Ambari的管理控制台。
下图展示了使用 Ambari 安装Spark的过程。
The following diagram shows the Spark installation process using Ambari.
- 选择 Ambari "Services" 选项卡。
在 Ambari "Actions" 下拉菜单中选择 "Add Service." 这将启动添加服务向导。
选择 "Spark",然后点击 "Next" 。
(For HDP 2.2.4, Ambari will install Spark version 1.2.1, not 1.2.0.2.2.)
- Ambari 将显示警告消息,确认集群运行的是 HDP 2.2.4 或更高版本,然后单击 "Proceed"。
|
Note |
You can reconfirm component versions in Step 6 before finalizing the upgrade. |
- 选择Spark 历史服务器节点,点击 Click "Next" 继续。
-
指定 Spark 的Slaves ,点击 "Next" 继续。
- 在客户化服务界面建议您使用默认值为您的初始配置,然后点击 "Next" 继续。
- Ambari 显示确认界面,点击 "Deploy" 继续。
|
Important |
On the Review screen, make sure all HDP components are version 2.2.4 or later. |
-
Ambari 显示安装、启动和测试界面,其状态栏和消息则指示进度。
- 当Ambari安装完成,点击 "Complete" 完成 Spark 的整个安装过程。
Run Spark
通过 SSH 登录 Hadoop 的 Linux 集群,执行以下的Linux 指令下载文档,为后面的Spark程序运行使用。
wget http://en.wikipedia.org/wiki/Hortonworks
将数据拷贝至 Hadoop 集群的HDFS中,
hadoop fs -put ~/Hortonworks /user/guest/Hortonworks
在很多Spark的例子中采用Scala和Java的应用程序演示,本例中使用 PySpark 来演示基于Python语音的Spark使用方法。
pyspark
第一步使用 Spark Context 即 sc 创建RDD,代码如下:
myLines = sc.textFile('hdfs://sandbox.hortonworks.com/user/guest/Hortonworks')
现在我们实例化了RDD,下面我们对RDD做转化的操作。为此我们使用python lambda表达式做筛选。
myLines_filtered = myLines.filter( lambda x: len(x) > 0 )
请注意,以上的python语句不会引发任何RDD的执行操作,只有出现类型以下代码的count()行为才会引发真正的RDD运算。
myLines_filtered.count()
最终Spark Job运算的结果如下所示。
341.
Data Science with Spark
对于数据科学家而言Spark是一种高度有效的数据处理工具。数据科学家经常类似Notebook ( 如 iPython http://ipython.org/notebook.html ) 的工具来快速创建原型并分享他们的工作。许多数据科学家喜好使用 R语言,可喜的是Spark与R的集成即 SparkR已成为 Spark 新兴的能力。Apache Zeppelin (https://zeppelin.incubator.apache.org/ ) 是一种新兴的工具,提供了基于 Spark 的 Notebook 功能,这里是Apache Zeppelin 提供的易用于 Spark的用户界面视图。
作者:雪松
Microsoft MVP -- Windows Platform Development,
Hortonworks Certified Apache Hadoop 2.0 Developer