随笔分类 -  Spark

spark mr on yarn查看日志
摘要：1. 根据前文Hadoop配置JobHistory之后，接着执行命令 cp /usr/local/spark/conf/spark-defaults.conf.template /usr/local/spark/conf/spark-defaults.conf 2. 修改spark-defaults 阅读全文

posted @ 2020-11-30 19:05 jmbkeyes 阅读(215) 评论(0) 推荐(0) 编辑

Idea开发Spark应用及远程运行及调试
摘要：本地开发执行Spark应用 1.Windows安装spark，设置环境变量SPARK_HOME=D:\spark-3.0.1，并在环境变量PATH加上%SPARK_HOME%\bin;%SPARK_HOME\sbin%; 2.Idea新建gradle项目spark，在build.gradle里添加 阅读全文

posted @ 2020-11-20 23:53 jmbkeyes 阅读(1647) 评论(0) 推荐(0) 编辑

Spark on yarn
摘要：1.配置 安装Hadoop：需要安装HDFS模块和YARN模块,可以参考前文https://www.cnblogs.com/jmbkeyes/p/13898676.html 安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_ 阅读全文

posted @ 2020-11-20 22:47 jmbkeyes 阅读(102) 评论(0) 推荐(0) 编辑

Spark Standalone集群安装
摘要：前提条件，以下使用的机器都可以互相ssh免密登录 1. 下载spark, https://archive.apache.org/dist/spark,本文下载3.0.1(spark-3.0.1-bin-without-hadoop.tgz) 2. 解压文件到/usr/local/spark 3. 复 阅读全文

posted @ 2020-11-19 22:35 jmbkeyes 阅读(160) 评论(0) 推荐(0) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示