SparkSQL与Hive的整合

  其他的配置hive基本配置就不记录了！！

1. 拷贝$HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf/
2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加
    export HIVE_HOME=/usr/local/apache-hive-0.13.1-bin

  注:切记SPARK_CLASSPATH这一行必须的配置:（否则报错）
    export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.15-bin.jar:$SPARK_CLASSPATH
 注意:

   启动spark-sql    输入set查看执行引擎还是MR 使用如下的命令切换执行引擎

1 使用mr执行引擎
2 set hive.execution.engine=mr;  
3 使用spark执行引擎
4 set hive.execution.engine=spark;

 

posted @ 2017-07-27 11:44  回眸,境界  阅读(2318)  评论(0)  编辑  收藏  举报