spark mr on yarn查看日志
摘要：1. 根据前文Hadoop配置JobHistory之后，接着执行命令 cp /usr/local/spark/conf/spark-defaults.conf.template /usr/local/spark/conf/spark-defaults.conf 2. 修改spark-defaults
阅读全文
posted @ 2020-11-30 19:05
11 2020 档案
Hadoop配置JobHistory
摘要：1.修改/usr/local/hadoop/etc/hadoop/yarn-site.xml，添加如下代码 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 配置日志服务器
阅读全文
posted @ 2020-11-30 18:56
Idea开发Spark应用及远程运行及调试
摘要：本地开发执行Spark应用 1.Windows安装spark，设置环境变量SPARK_HOME=D:\spark-3.0.1，并在环境变量PATH加上%SPARK_HOME%\bin;%SPARK_HOME\sbin%; 2.Idea新建gradle项目spark，在build.gradle里添加
阅读全文
posted @ 2020-11-20 23:53
Spark on yarn
摘要：1.配置 安装Hadoop：需要安装HDFS模块和YARN模块,可以参考前文https://www.cnblogs.com/jmbkeyes/p/13898676.html 安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_
阅读全文
posted @ 2020-11-20 22:47
Spark Standalone集群安装
摘要：前提条件，以下使用的机器都可以互相ssh免密登录 1. 下载spark, https://archive.apache.org/dist/spark,本文下载3.0.1(spark-3.0.1-bin-without-hadoop.tgz) 2. 解压文件到/usr/local/spark 3. 复
阅读全文
posted @ 2020-11-19 22:35
Yarn下Mapreduce的内存参数理解&xml参数配置
摘要：Container是什么？ Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上【8088端口】看到Container的状态 基础 Yarn的ResourceMange
阅读全文
posted @ 2020-11-01 22:16
