随笔 - 4326,  文章 - 1,  评论 - 32,  阅读 - 281万
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

安装步骤基本参考 Spark在Windows下的环境搭建。不过在安装新版本 spark2.2.1(基于 hadoop2.7)的配置时,略略有一些不同。

1. sqlContext => spark.sqlContext

在启动日志中未出现,SQL context available as sqlContext.也不足为奇,因为在新版本的 spark 中 sqlContext 对象已封装进 Spark session,也即 spark-shell 中的 spark 下。


这里写图片描述

2. winutils.exe

为虚拟文件夹 /tmp/hive 修改权限时,应使用 winutils.exe 的绝对路径,如:

D:\Program Files\hadoop\bin\winutils.exe chmod 777 /tmp/hive 
posted on   未雨愁眸  阅读(611)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示