CDH5.14集成Spark-sql，并用2种方式运行sql。附案例
本篇文章主要讲述如何在CDH中启动Spark Thrift。
本次测试的版本：
CDH版本：5.14.2
spark：1.6.0
文中主要用root来部署，但是启动的时候用的spark用户，中间会有一些权限方面的问题。大家可以根据提示自行添加权限。我这边权限不够默认都给了777，方便测试。
文中的spark服务器与hive元数据的服务器不在同一台服务器上。所以不会涉及端口冲突的错误。（spark Thrift默认端口10000）
一：部署主要分以下几步：
1.下载原生的spark的编译好的包
http://archive.apache.org/dist/spark/spark-1.6.0/spark-1.6.0-bin-hadoop2.6.tgz
2.替换spark-assembly 的jar包，并上传到hdfs节点上，上传Spark Thrift的启动、停止脚本，上传spark-sql脚本
从下载的包中，找到如下几个文件：
sbin/start-thriftserver.sh sbin/stop-thriftserver.sh bin/spark-sql lib/spark-assembly-1.6.0-hadoop2.6.0.jar
并将前3个上传到对应的目录中
第四个有点特殊：spark-assembly-1.6.0-hadoop2.6.0.jar，上传至：/opt/cloudera/parcels/CDH/lib/spark/lib，删除原有的软连接，注意做好备份
#cd /opt/cloudera/parcels/CDH/lib/spark/lib #rm -rf spark-assembly-1.6.0-cdh5.13.0-hadoop2.6.0-cdh5.13.0.jar #ln -s ../../../jars/spark-assembly-1.6.0-hadoop2.6.0.jar spark-assembly-1.6.0-hadoop2.6.0.jar #ln -s ../../../jars/spark-assembly-1.6.0-hadoop2.6.0.jar spark-assembly.jar
在hive的数据节点上操作：
#sudo -u spark hadoop fs -put /opt/cloudera/parcels/CDH/jars/spark-assembly-1.6.0-hadoop2.6.0.jar /user/spark/share/lib #sudo -u spark hadoop fs -chmod 755 /user/spark/share/lib/spark-assembly-1.6.0-hadoop2.6.0.jar
3.在cdh的spark中配置相关信息
保存配置，并重启Spark
4.修改/etc/spark/conf/classpath.txt文件，在最后添加如下内容
/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/spark-lineage_2.10-1.6.0-cdh5.14.2.jar
由于CDH5.11以后版本，Navigator2.10增加了Spark的血缘分析，所以这里需要添加spark-lineage_2.10-1.6.0-cdh5.13.0.jar包，否则连接Spark会报错找不到com.cloudera.spark.lineage.ClouderaNavigatorListener类
5.修改修改 load-spark-env.sh 脚本，这个脚本是启动 spark 相关服务时加载环境变量信息的
需要将注释掉exec "$SPARK_HOME/bin/$SCRIPT""$@"，因为在start-thriftserver.sh脚本中会执行这个命令
# cd /opt/cloudera/parcels/CDH/lib/spark/bin
# vi load-spark-env.sh
5.启动Spark ThriftServer脚本
#sudo -u spark ./start-thriftserver.sh #启动脚本 #netstat -ano|grep 10000 #查看是否启动，并监控10000端口
启动之后，在yarn上会有一个常驻进程，如下图：
二：运行SQL语句，并测试是否能成功运行
1.通过beeline链接spark 来运行sql
#beeline beeline> !connect jdbc:hive2://192.168.58.178:10000
2.运行sql
0: jdbc:hive2://192.168.58.178:10000> use dim; 0: jdbc:hive2://192.168.58.178:10000> select product_code from dim.dim_product_d limit 2;
3.查看yarn上的任务情况
三：用bin/spark-sql来运行SQL
# sudo -u spark ./spark-sql
spark-sql 需要在有yarn上的机器上运行，不然会报一个错：
运行sql语句
spark-sql> select product_code from dim.dim_product_d limit 2;
总结：
- CDH默认不支持Spark Thrift，需要使用Spark原生的spark-assembly jar包替换CDH自带的jar包
- CDH5.11版本以后，Navigator2.10增加了Spark的血缘分析，所以需要将spark-lineage的jar加载的Spark的运行环境。否则连接Spark会报错找不到com.cloudera.spark.lineage.ClouderaNavigatorListener类。CDH5.10或之前版本不用加载这个jar包
