会员
商店
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
优雅程序员
以一当十的程序员炼成记 | 微信公众号:YoyaProgrammer
博客园
首页
新随笔
联系
订阅
管理
随笔 - 16
文章 - 0
评论 - 108
阅读 -
57072
2015年5月29日
Spark大数据处理 之 从WordCount看Spark大数据处理的核心机制(1)
摘要: 大数据处理肯定是分布式的了,那就面临着几个核心问题:可扩展性,负载均衡,容错处理。Spark是如何处理这些问题的呢?
阅读全文
posted @ 2015-05-29 23:06 一码
阅读(6264)
评论(4)
推荐(3)
编辑
公告
昵称:
一码
园龄:
9年10个月
粉丝:
43
关注:
0
<
2025年4月
>
日
一
二
三
四
五
六
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
1
2
3
4
5
6
7
8
9
10
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
重构
(9)
Spark
(4)
效率
(2)
算法
(1)
随笔分类
(16)
Spark大数据处理(4)
大话重构(9)
高效法则(2)
算法之美(1)
随笔档案
(16)
2015年7月(3)
2015年6月(6)
2015年5月(7)
阅读排行榜
1. 算法之美 之 小小方差增量算法带来的大大收益(9016)
2. Spark大数据处理 之 动手写WordCount(8381)
3. 大话重构 之 解决万恶之首“重复代码”(6578)
4. Spark大数据处理 之 从WordCount看Spark大数据处理的核心机制(1)(6264)
5. Spark大数据处理 之 RDD粗粒度转换的威力(3430)
评论排行榜
1. 高效法则 之 你还在用这么low的方法打开软件吗?(41)
2. 大话重构 之 你的参数列表像蚯蚓一样让人厌恶吗(11)
3. 大话重构 之 消除巨无霸类(11)
4. 大话重构 之 防止“加个需求,到处改代码”(10)
5. 算法之美 之 小小方差增量算法带来的大大收益(8)
推荐排行榜
1. 大话重构 之 防止“加个需求,到处改代码”(9)
2. 大话重构 之 你的参数列表像蚯蚓一样让人厌恶吗(8)
3. 算法之美 之 小小方差增量算法带来的大大收益(7)
4. 高效法则 之 你还在用这么low的方法打开软件吗?(7)
5. 大话重构 之 答读者问(5)
最新评论
1. Re:Spark大数据处理 之 动手写WordCount
“返回结果不为RDD的API是动作” ???,reduceByKey不也是返回RDD吗,这是action算子啊
--Vae音繁华
2. Re:Spark大数据处理 之 动手写WordCount
学习了 大哥
--Lemon_乐
3. Re:Spark大数据处理 之 从WordCount看Spark大数据处理的核心机制(1)
谢谢分享
--青春无语
4. Re:大话重构 之 原来反OO天天见
向来很讨厌这种用显示中的东西做类比然后写代码来解释OO原则和设计模式的,压根不会让人明白,类比也不会恰当,包括大多数文章和市面上的一些设计模式的书籍。OO原则和模式都是在复杂的情况下,多个角度综合分析...
--apodemakeles
5. Re:大话重构 之 消除巨无霸类
最近在看《代码整洁之道》,越来越发现整洁代码的重要性! 文章写的很好,支持
--oz
点击右上角即可分享