随笔分类 -  作业--实践

7. Spark SQL
摘要：1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因： 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求 首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据 其次，用户需要执行高级分析，比如机器学习和图像处理 在实际 阅读全文
posted @ 2022-05-11 21:09 stu(dying) 阅读(107) 评论(0) 推荐(0) 编辑
6. RDD综合练习：更丰富的操作
摘要：一、集合运算练习 union()， intersection()，subtract(), cartesian() rdd1 = sc.parallelize('abcd') rdd2 = sc.parallelize('bcde') rdd1.union(rdd2).collect() rdd1.s 阅读全文
posted @ 2022-04-20 17:43 stu(dying) 阅读(71) 评论(0) 推荐(0) 编辑
5.RDD操作综合实例
摘要：一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD >>> lines = sc.textFile("hdfs://localhost:9000/user/hadoop/my.txt") >>> lines 分词 words = lines.flatM 阅读全文
posted @ 2022-04-07 18:27 stu(dying) 阅读(79) 评论(0) 推荐(0) 编辑
4.RDD操作
摘要：一、 RDD创建 从本地文件系统中加载数据创建RDD sc：SparkContext（shell自动创建） 本地文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD 该方法把文件的URI作为参数，这个URI可以是： 本地文件系统的地址 或者是分布式文件 阅读全文
posted @ 2022-03-30 18:03 stu(dying) 阅读(196) 评论(0) 推荐(0) 编辑
云计算：Ubuntu下Vue+Springboot前后端分离项目部署（多节点）
摘要：一、机器准备 首先准备三台机器： 我是一台WINDOWS系统主机，在WINDOWS里的 VMware 中安装两台Ubuntu系统虚拟机 如果你的虚拟机只有 CentOS，可以参考这篇文章：https://www.cnblogs.com/qwg-/p/13237210.html VMware 中如何克 阅读全文
posted @ 2022-03-21 02:26 stu(dying) 阅读(1558) 评论(0) 推荐(6) 编辑
3.Spark设计与运行原理，基本操作
摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统主要包含Spark Core、Spark SQL、Spark Streaming、MLib、GraphX以及独立调度器，下面对上述组件进行一一介绍。 （1）Spark 阅读全文
posted @ 2022-03-15 17:08 stu(dying) 阅读(143) 评论(0) 推荐(0) 编辑
2.安装Spark与Python练习
摘要：一、安装Spark 《Spark2.4.0入门：Spark的安装和使用》 博客地址：http://dblab.xmu.edu.cn/blog/1307-2/ 1.1 基础环境 1.1.1 安装Spark之前需要安装： Linux系统 Java环境（Java8或JDK1.8以上版本） Hadoop环境 阅读全文
posted @ 2022-03-08 18:59 stu(dying) 阅读(141) 评论(0) 推荐(0) 编辑