摘要: 一、简述 RDD:核心抽象 一个RDD在抽象上代表一个hdfs文件, 分布式数据集:元素集合包含数据,实际上是被分区的,分为多个分区散落在spark集群中的不同节点(一批节点上的一批数据就是RDD)。 最重要特性:提供了容错性,节点失败中自动恢复。默认放在内存,内存不够,被写入磁盘。 二、RDD的创 阅读全文
posted @ 2019-08-10 16:04 Languid 阅读(369) 评论(0) 推荐(0) 编辑