2020 年 11月随笔档案 - 一路向北321

Spark_4_2：Spark函数之collect、toArray和collectAsMap

摘要：collect、toArray 将RDD转换为Scala的数组。 collectAsMap 与collect、toArray相似。collectAsMap将key-value型的RDD转换为Scala的map。注意：map中如果有相同的key，其value只保存最后一个值。 # 创建一个2分区的R 阅读全文

posted @ 2020-11-17 12:05 一路向北321 阅读(1590) 评论(0) 推荐(0) 编辑

Spark_4_1：Spark常见操作函数

摘要：map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues map(function)map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举阅读全文

posted @ 2020-11-16 19:11 一路向北321 阅读(315) 评论(0) 推荐(0) 编辑

Spark_4：Spark常见操作函数

摘要：以{1, 2, 3, 3}的RDD为例：函数名目的示例结果 map() 将函数应用于 RDD 中的每个元素，将返回值构成新的 RDD rdd.map(x => x + 1) {2, 3, 4, 4} flatMap() 将函数应用于 RDD 中的每个元素，将返回的迭代器的所有内容构成新的 R 阅读全文

posted @ 2020-11-16 15:57 一路向北321 阅读(320) 评论(0) 推荐(0) 编辑

HiveSql基础函数—row_number()、Join的类型和用法

摘要：一、row_number() 1、语法： row_number() over (partition by col_list1 order by col_list2) rank() over(partition by col_list1 order by col_list2) 2、row_number 阅读全文

posted @ 2020-11-16 15:01 一路向北321 阅读(1650) 评论(0) 推荐(0) 编辑

flask_15_1：flask-admin 模型功能参数参照表

摘要：本文转自：flask-admin模型功能参数参照表 can_create = True 是否可以创建 can_edit = True 是否可以编辑 can_delete = True 是否可以删除 list_template = ‘admin/model/list.html‘ 修改显示该模型的htm 阅读全文

posted @ 2020-11-10 14:52 一路向北321 阅读(656) 评论(0) 推荐(0) 编辑

Spark_3：Spark集群搭建

摘要：本文转载自：（1）在阿里云上搭建 Spark 实验平台（2）阿里云Centos7.3上 Spark2.3集群的搭建（ok！！！）（3）搭建Spark集群服务器（4）Spark集群搭建之前搜的其他博客中都没有具体的关于阿里云上 spark集群的搭建的完整的笔记，自己也是找了好多不同笔记，其中阅读全文

posted @ 2020-11-05 16:07 一路向北321 阅读(509) 评论(0) 推荐(0) 编辑

Spark_2：Spark 快速入门教程

摘要：本文转自：Spark 快速入门教程，主要介绍了spark的基本概念和交互式使用（Scala语言），不涉及在独立应用中使用spark、集群部署 1. Spark 是什么 Apache Spark 是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。Spark 正如其名阅读全文

posted @ 2020-11-05 14:22 一路向北321 阅读(945) 评论(0) 推荐(0) 编辑

Spark快速大数据分析_11：第十一章

摘要：第 11 章　基于 MLlib 的机器学习阅读全文

posted @ 2020-11-05 11:38 一路向北321 阅读(70) 评论(0) 推荐(0) 编辑

Spark快速大数据分析_10：第十章

摘要：第 10 章　Spark Streaming 阅读全文

posted @ 2020-11-05 11:36 一路向北321 阅读(58) 评论(0) 推荐(0) 编辑

Spark快速大数据分析_9：第九章

摘要：第 9 章　Spark SQL 阅读全文

posted @ 2020-11-05 11:35 一路向北321 阅读(101) 评论(0) 推荐(0) 编辑

Spark快速大数据分析_8：第八章

摘要：第 8 章　Spark 调优与调试阅读全文