会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
不要忘记我
博客园
首页
新随笔
联系
订阅
管理
2020年1月31日
Spark工作原理及RDD
摘要: 1.基于内存2.迭代式计算3.分布式 基本工作原理:将spark的程序提交到spark集群上,在Hadoop的HDFS或者Hive上读取数据,读取的数据存放在各个spark的节点上,分布式的存放在多个节点上,主要在每个节点的内存上,这样可以加快速度。对节点的数据进行处理,处理后的数据存放在其他的节点
阅读全文
posted @ 2020-01-31 13:47 啥123
阅读(325)
评论(0)
推荐(0)
编辑