随笔分类 -  Spark

Spark on Yarn配置（详细）
摘要：本文是基于已经搭建好且正常运行的Spark以及Hadoop集群上进行，为了支持Spark on Yarn是需要额外的配置。 1、Spark on Yarn配置 在搭建好的Spark上修改spark-env.sh文件： # vim $SPARK_HOME/conf/spark-env.sh 添加以下配 阅读全文
posted @ 2020-05-29 03:39 buildings 阅读(9231) 评论(2) 推荐(1) 编辑
Spark源码编译 + 伪分布式搭建 + Hive on Spark配置
摘要：Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 Hive on Spark是Hive跑在Spark上，用的是Sp 阅读全文
posted @ 2019-08-10 20:24 buildings 阅读(1373) 评论(1) 推荐(1) 编辑

点击右上角即可分享
微信分享提示