摘要: 伪 分布模式下启动spark报错 从spark1.4以后,所有spark的编译都是没有将hadoop的classpath编译进去的,所以必须在spark-env.sh中指定hadoop中的所有jar包。 具体设置如下: 在spark/conf文件下spark-evn.sh中添加 阅读全文
posted @ 2019-09-06 19:11 小张在搬砖 阅读(4583) 评论(0) 推荐(0) 编辑
摘要: 意思说在 hdfs://localhost:9000/usr/local/spark/zytdemo找不到响应的文件,我们可以分析的得到他并不是加载本地文件,而是区hdfs上查找。 这是由于我们在之前配置时修改过 /usr/local/hadoop/etc/hadoop下的core-site.xml 阅读全文
posted @ 2019-09-06 18:31 小张在搬砖 阅读(4877) 评论(0) 推荐(0) 编辑