随笔分类 -  Spark

spark mr on yarn查看日志
摘要：1. 根据前文Hadoop配置JobHistory之后，接着执行命令 cp /usr/local/spark/conf/spark-defaults.conf.template /usr/local/spark/conf/spark-defaults.conf 2. 修改spark-defaults 阅读全文

posted @ 2020-11-30 19:05 jmbkeyes 阅读(230) 评论(0) 推荐(0)

Idea开发Spark应用及远程运行及调试
摘要：本地开发执行Spark应用 1.Windows安装spark，设置环境变量SPARK_HOME=D:\spark-3.0.1，并在环境变量PATH加上%SPARK_HOME%\bin;%SPARK_HOME\sbin%; 2.Idea新建gradle项目spark，在build.gradle里添加 阅读全文

posted @ 2020-11-20 23:53 jmbkeyes 阅读(1735) 评论(0) 推荐(0)

Spark on yarn
摘要：1.配置 安装Hadoop：需要安装HDFS模块和YARN模块,可以参考前文https://www.cnblogs.com/jmbkeyes/p/13898676.html 安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_ 阅读全文

posted @ 2020-11-20 22:47 jmbkeyes 阅读(149) 评论(0) 推荐(0)

Spark Standalone集群安装
摘要：前提条件，以下使用的机器都可以互相ssh免密登录 1. 下载spark, https://archive.apache.org/dist/spark,本文下载3.0.1(spark-3.0.1-bin-without-hadoop.tgz) 2. 解压文件到/usr/local/spark 3. 复 阅读全文

posted @ 2020-11-19 22:35 jmbkeyes 阅读(177) 评论(0) 推荐(0)

导航