会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
guang
博客园
首页
新随笔
联系
订阅
管理
随笔 - 74
文章 - 0
评论 - 20
阅读 -
13万
09 2018 档案
Spark RDD深度解析-RDD计算流程
摘要:Spark RDD深度解析-RDD计算流程 摘要 RDD(Resilient Distributed Datasets)是Spark的核心数据结构,所有数据计算操作均基于该结构进行,包括Spark sql 、Spark Streaming。理解RDD有助于了解分布式计算引擎的基本架构,更好地使用Sp
阅读全文
posted @
2018-09-07 14:19
guang_blog
阅读(4930)
评论(6)
推荐(1)
编辑
公告
昵称:
guang_blog
园龄:
12年
粉丝:
16
关注:
5
+加关注
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
最新随笔
1.理解文本识别网络CRNN
2.文本检测之R-CNN
3.Reactor与Proactor
4.LSTM详解
5.流批一体大数据架构
6.机器学习模型并行训练
7.异常统一捕获
8.多核程序数据同步
9.gpfdist原理解析
10.linux信号处理总结
我的标签
编程笔记
(22)
数据库
(4)
kafka
(2)
机器学习
(2)
spark
(1)
R-CNN
(1)
flink
(1)
crnn
(1)
文本识别
(1)
文本检测
(1)
更多
随笔分类
(17)
flink(1)
graphic(2)
java(1)
kafka(1)
Linux(1)
python(1)
win32(2)
大数据(1)
高性能(2)
机器学习(2)
基于深度学习的目标检测与识别(2)
数据库(1)
随笔档案
(73)
2023年11月(2)
2022年11月(1)
2022年10月(1)
2022年7月(1)
2022年6月(1)
2022年5月(1)
2021年7月(1)
2021年3月(1)
2018年10月(2)
2018年9月(1)
2018年8月(1)
2018年3月(2)
2017年10月(1)
2017年9月(1)
2017年8月(1)
2017年7月(2)
2016年10月(1)
2016年8月(1)
2016年7月(3)
2016年4月(2)
2016年3月(1)
2016年1月(3)
2015年3月(3)
2015年1月(4)
2014年12月(12)
2014年11月(2)
2014年7月(3)
2014年6月(4)
2014年5月(9)
2014年4月(1)
2014年3月(1)
2013年8月(1)
2013年7月(1)
2013年6月(1)
更多
阅读排行榜
1. -L、-rpath和-rpath-link的区别(24620)
2. 流批一体大数据架构(13905)
3. java获取数据库里表的名字(12979)
4. 如何学习c++(10438)
5. Spark RDD深度解析-RDD计算流程(4930)
评论排行榜
1. Spark RDD深度解析-RDD计算流程(6)
2. 如何学习c++(3)
3. 小心C语言的定义与声明(3)
4. Convert.ToInt32()与int.Parse()的区别(2)
5. C++中new和malloc的区别(2)
推荐排行榜
1. 如何学习c++(12)
2. -L、-rpath和-rpath-link的区别(2)
3. 为何要防止隐式类型转换(2)
4. Spark RDD深度解析-RDD计算流程(1)
5. 为什么使用四元数(1)
最新评论
1. Re:Spark RDD深度解析-RDD计算流程
@我是学渣柠檬 按照流的方式,一条一条数据调用map...
--guang_blog
2. Re:Spark RDD深度解析-RDD计算流程
请问一下楼主,在真正计算的时候,partition是全部加载到内存,然后调用map,还是按照流的方式,一条一条数据调用map,
--我是学渣柠檬
3. Re:Spark RDD深度解析-RDD计算流程
@ reedom1991相互学习...
--guang_blog
4. Re:Spark RDD深度解析-RDD计算流程
特地登录上来,写的太棒了!解决了困扰我由来已久的RDD到底是什么?RDD是不是包含数据?RDD里面的数据到底是怎么计算和操作的!
现在大致明白了RDD是业务逻辑的集合!
--reedom1991
5. Re:Spark RDD深度解析-RDD计算流程
@ 算法之美我也是刚开始学,共同进步...
--guang_blog
点击右上角即可分享