2020 年 5月 3 日随笔档案 - 清浊

2020年5月3日

摘要： package cn.spark.study.core; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD 阅读全文

posted @ 2020-05-03 22:16 清浊阅读(235) 评论(0) 推荐(0) 编辑

spark工作原理

摘要： 1、分布式 2、基于内存 3、迭代式计算每一批节点上的每一批数据就是一个RDD RDD是spark的核心抽象 1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的阅读全文

posted @ 2020-05-03 18:43 清浊阅读(1458) 评论(0) 推荐(0) 编辑