摘要: SparkSQL是Spark上的高级模块,SparkSQL是一个SQL解析引擎,将SQL解析成特殊的RDD(DataFrame),然后在Spark集群中运行 SparkSQL是用来处理结构化数据的(先将非结构化的数据转换成结构化数据) SparkSQL支持两种编程API 1.SQL方式 2.Data 阅读全文
posted @ 2021-05-29 15:40 每天都要进步啊 阅读(429) 评论(0) 推荐(0) 编辑
摘要: package cn.edu360 import java.io.{FileInputStream, FileOutputStream, ObjectInputStream, ObjectOutputStream} /** * Created by zx on 2017/6/25. */class 阅读全文
posted @ 2021-05-29 15:00 每天都要进步啊 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度,我们先看一下集群模式的Spark程序运行架构图,如上所示: 2、Spark中的基本概念 1、Application:表示你的程序 2、Driver:表示m 阅读全文
posted @ 2021-05-29 10:08 每天都要进步啊 阅读(416) 评论(0) 推荐(0) 编辑