摘要: 本文转载自: (1)在阿里云上搭建 Spark 实验平台 (2)阿里云Centos7.3上 Spark2.3集群的搭建(ok!!!) (3)搭建Spark集群服务器 (4)Spark集群搭建 之前搜的其他博客中都没有具体的关于阿里云上 spark集群的搭建的完整的笔记,自己也是找了好多不同笔记,其中 阅读全文
posted @ 2020-11-05 16:07 一路向北321 阅读(507) 评论(0) 推荐(0) 编辑
摘要: 本文转自:Spark 快速入门教程,主要介绍了spark的基本概念和交互式使用(Scala语言),不涉及在独立应用中使用spark、集群部署 1. Spark 是什么 Apache Spark 是个通用的集群计算框架,通过将大量数据集计算任务分配到多台计算机上,提供高效内存计算。Spark 正如其名 阅读全文
posted @ 2020-11-05 14:22 一路向北321 阅读(932) 评论(0) 推荐(0) 编辑
摘要: 第 11 章 基于 MLlib 的机器学习 阅读全文
posted @ 2020-11-05 11:38 一路向北321 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 第 10 章 Spark Streaming 阅读全文
posted @ 2020-11-05 11:36 一路向北321 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 第 9 章 Spark SQL 阅读全文
posted @ 2020-11-05 11:35 一路向北321 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 第 8 章 Spark 调优与调试 阅读全文
posted @ 2020-11-05 11:33 一路向北321 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 第 7 章 在集群上运行 Spark 待续。。。。。 内容总结:第 7 章中也会更详细地讲解如何打包 Spark 应用 阅读全文
posted @ 2020-11-05 11:32 一路向北321 阅读(57) 评论(0) 推荐(0) 编辑
摘要: 第 6 章 Spark 编程进阶 待续。。。。 内容总结:第 6 章讨论数值 RDD 的专门函数 阅读全文
posted @ 2020-11-05 11:31 一路向北321 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 第 5 章 数据读取与保存 第三章中讲过 数据读取:创建RDD 数据保存:RDD的行动操作。当行动操作结算的结果较大,不能直接放到驱动器进程中时,就会输出到外部保存。 待续。。。 阅读全文
posted @ 2020-11-05 11:28 一路向北321 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 第 4 章 键值对操作 待续 内容总结:第 4 章讨论键值对 RDD 的专有操作 阅读全文
posted @ 2020-11-05 11:27 一路向北321 阅读(65) 评论(0) 推荐(0) 编辑