2018年9月12日
《Spark 官方文档》在Mesos上运行Spark
摘要： 本文转自：http://ifeve.com/spark-mesos-spark/ 在Mesos上运行Spark Spark可以在由Apache Mesos 管理的硬件集群中运行。 在Mesos集群中使用Spark的主要优势有： 可以在Spark以及其他框架（frameworks）之间动态划分资源。 阅读全文
posted @ 2018-09-12 17:48 一直爬行的蜗牛牛 阅读(976) 评论(0) 推荐(0) 编辑
spark集群安装部署
摘要： 通过Ambari(HDP)或者Cloudera Management (CDH)等集群管理服务安装和部署在此不多介绍，只需要在界面直接操作和配置即可，本文主要通过原生安装，熟悉安装配置流程。 1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 阅读全文
posted @ 2018-09-12 17:21 一直爬行的蜗牛牛 阅读(5690) 评论(0) 推荐(3) 编辑
yarn logs -applicationId命令java版本简单实现
摘要： 1 import java.io.DataInputStream; 2 import java.io.EOFException; 3 import java.io.FileNotFoundException; 4 import java.io.PrintStream; 5 6 import org.apache.commons.lang.StringUtils; 7... 阅读全文
posted @ 2018-09-12 16:28 一直爬行的蜗牛牛 阅读(3558) 评论(1) 推荐(0) 编辑
spark操作数据库的几种方法
摘要： 一.使用jdbcRDD的接口： 二.使用通过sparksession的接口： 阅读全文
posted @ 2018-09-12 11:43 一直爬行的蜗牛牛 阅读(2981) 评论(0) 推荐(0) 编辑