2019年8月3日
3 Spark 集群安装
摘要： Spark安装地址、Standalone模式安装、JobHistoryServer配置、HA配置、Yarn模式安装 阅读全文
posted @ 2019-08-03 01:59 DiYong 阅读(252) 评论(0) 推荐(0) 编辑
2 Spark角色介绍及运行模式
摘要： 第2章 Spark角色介绍及运行模式 2.1 集群角色 从物理部署层面上来看，Spark主要分为两种类型的节点，Master节点和Worker节点：Master节点主要运行集群管理器的中心化部分，所承载的作用是分配Application到Worker节点，维护Worker节点，Driver，Appl 阅读全文
posted @ 2019-08-03 01:32 DiYong 阅读(867) 评论(0) 推荐(0) 编辑
1 Spark概述
摘要： 第1章 Spark概述 1.1 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 目前，Spark生态系统 阅读全文
posted @ 2019-08-03 01:26 DiYong 阅读(331) 评论(0) 推荐(0) 编辑
Spark中遇到的问题
摘要： spark启动slave时提示 JAVA_HOME is not set 解决方法： 在sbin目录spark-config.sh 中添加自己的jdk 路径export JAVA_HOME=/home/hadoop/modules/jdk 启动： sbin/start-all.sh 阅读全文
posted @ 2019-08-03 01:06 DiYong 阅读(190) 评论(0) 推荐(0) 编辑