2019年9月3日

调试Spark应用

摘要: 本文摘自:《Hadoop专家-管理、调优与Spark|YARN|HDFS安全》Sam R. Alapati 一、通过日志聚合访问日志 二、当日志聚合未开启时 阅读全文

posted @ 2019-09-03 18:13 AI数据 阅读(186) 评论(0) 推荐(0) 编辑

Spark开发环境搭建和作业提交

摘要: Spark高可用集群搭建 在所有节点上下载或上传spark文件,解压缩安装,建立软连接 配置所有节点spark安装目录下的spark-evn.sh文件 配置slaves 配置spark-default.conf 配置所有节点的环境变量 spark-evn.sh 加入 -Dspark.deploy.r 阅读全文

posted @ 2019-09-03 18:10 AI数据 阅读(1169) 评论(0) 推荐(0) 编辑

导航