05 2020 档案

Spark on Yarn配置（详细）
摘要：本文是基于已经搭建好且正常运行的Spark以及Hadoop集群上进行，为了支持Spark on Yarn是需要额外的配置。 1、Spark on Yarn配置 在搭建好的Spark上修改spark-env.sh文件： # vim $SPARK_HOME/conf/spark-env.sh 添加以下配 阅读全文
posted @ 2020-05-29 03:39 buildings 阅读(9231) 评论(2) 推荐(1) 编辑
Azkaban3.81.x部署+坑
摘要：一、前提安装 1.1 Java1.8环境搭建 1) 下载jdk1.8并解压： # tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local 2) 添加Java环境变量，在/etc/profile中添加： export JAVA_HOME=/usr/loc 阅读全文
posted @ 2020-05-03 03:53 buildings 阅读(1176) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示