2018年8月9日
spark 开启job history
摘要： 1.首先需要创建spark.history.fs.logDirectory 2.修改hadoop-defaults.conf,添加如下内容 修改spark-env.sh 添加如下内容 -Dspark.history.ui.port=7777 #设置日志监控端口 -Dspark.history.ret 阅读全文
posted @ 2018-08-09 21:36 生心无住 阅读(1049) 评论(0) 推荐(0) 编辑
spark 更改日志输出级别
摘要： Logger.getRootLogger.setLevel(Level.ERROR) 通过在代码中设置log级别即可 阅读全文
posted @ 2018-08-09 17:05 生心无住 阅读(4254) 评论(0) 推荐(1) 编辑
spark 提交任务报错 Yarn application has already ended! It might have been killed or unable to launch application master
摘要： 1.任务是提交在yarn上的，查看 resourceManager页面 有如下信息 Current usage: 58.4 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container 阅读全文
posted @ 2018-08-09 16:54 生心无住 阅读(2589) 评论(0) 推荐(0) 编辑
centos7 spark2.3.1集群搭建
摘要： 1.安装jdk 2.安装scala 参照jdk的安装 3.ssh 免密码登录 4.安装hadoop 以上四步请参照 centos7 安装hadoop2.7.6（分布式） 5.安装spark 1）官网下载对应版本 https://archive.apache.org/dist/spark/spark- 阅读全文
posted @ 2018-08-09 14:39 生心无住 阅读(827) 评论(0) 推荐(0) 编辑
centos7 安装hadoop2.7.6（分布式）
摘要： 本文只做简单介绍，具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版 本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop （HADOOP_HOME） 2,创建group hadoop groupadd hadoop groupadd hadoop 3.创建用 阅读全文
posted @ 2018-08-09 10:55 生心无住 阅读(887) 评论(0) 推荐(0) 编辑
centos6.5 安装hadoop1.2.1亲测版
摘要： 本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.novalocal slave 10.11.84.6 web-crawler--3.novalocal sla 阅读全文
posted @ 2018-08-09 10:22 生心无住 阅读(261) 评论(0) 推荐(0) 编辑