安装步骤基本参考 Spark在Windows下的环境搭建。不过在安装新版本 spark2.2.1(基于 hadoop2.7)的配置时,略略有一些不同。
1. sqlContext => spark.sqlContext
在启动日志中未出现,SQL context available as sqlContext.
也不足为奇,因为在新版本的 spark 中 sqlContext 对象已封装进 Spark session,也即 spark-shell 中的 spark 下。
2. winutils.exe
为虚拟文件夹 /tmp/hive 修改权限时,应使用 winutils.exe 的绝对路径,如:
D:\Program Files\hadoop\bin\winutils.exe chmod 777 /tmp/hive
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步