阿飞飞飞

学而时习之

导航

2020年9月22日 #

RDD——弹性分布式数据集

摘要: RDD是将数据项拆分为多个分区的集合,储存在集群的工作节点上的内存和磁盘上,RDD是用于数据转换的接口,其不存实际数据内容 RDD的特点: 弹性:RDD默认存放在内存中,当内存不足时,Spark自动将RDD写入磁盘 容错性:根据数据血统,可以自动从节点失败中恢复分区 分布式数据集:RDD为只读的分区 阅读全文

posted @ 2020-09-22 19:54 阿飞飞飞 阅读(321) 评论(0) 推荐(0) 编辑