联合会员
周边
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
liuming_1992
博客园
首页
新随笔
联系
管理
订阅
随笔- 64 文章- 0 评论- 11 阅读-
31万
2017年3月15日
[Spark] - SparkCore程序优化总结
摘要: http://spark.apache.org/docs/1.6.1/tuning.html1) 代码优化 a. 对于多次使用的RDD,进行数据持久化操作(eg: cache、persist) b. 如果对同一个份数据进行操作,那么尽量公用一个RDD c. 优先使用reduceByKey和aggre
阅读全文
posted @ 2017-03-15 15:00 liuming_1992
阅读(4602)
评论(0)
推荐(0)
编辑
公告
昵称:
liuming_1992
园龄:
10年2个月
粉丝:
39
关注:
0
+加关注
<
2025年3月
>
日
一
二
三
四
五
六
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
更多链接
我的标签
hadoop
(16)
Kafka
(10)
Data structure
(6)
Spark
(4)
MongoDB
(4)
java web
(4)
数据挖掘
(4)
solr
(3)
linux
(3)
java多线程
(3)
更多
随笔档案
2017年3月(2)
2017年2月(16)
2016年1月(3)
2015年12月(2)
2015年11月(2)
2015年10月(4)
2015年9月(6)
2015年8月(13)
2015年3月(1)
2015年1月(13)
2014年12月(2)
阅读排行榜
1. [Kafka] - Kafka基本操作命令(48497)
2. [Netty] - Netty入门(最简单的Netty客户端/服务器程序)(35589)
3. [Kafka] - Kafka Java Consumer实现(一)(33841)
4. [Linux] - xxx 不在 sudoers 文件中。此事将被报告。(26778)
5. [Kafka] - Kafka Java Producer代码实现(23724)
评论排行榜
1. [Kafka] - Kafka Java Consumer实现(一)(4)
2. [Kafka] - Kafka Java Producer代码实现(2)
3. [Kafka] - Kafka Java Consumer实现(二)(2)
4. [Linux] - xxx 不在 sudoers 文件中。此事将被报告。(1)
5. [Netty] - Netty入门(最简单的Netty客户端/服务器程序)(1)
推荐排行榜
1. [Spark] - HashPartitioner & RangePartitioner 区别(4)
2. [Kafka] - Kafka Java Consumer实现(二)(3)
3. [Kafka] - Kafka Java Consumer实现(一)(3)
4. [Hadoop] - Hadoop Mapreduce Error: GC overhead limit exceeded(3)
5. ID3算法(3)
最新评论
1. Re:[Kafka] - Kafka Java Consumer实现(一)
优秀啊。依赖里面必须用0.8.2.1的版本。否则凉凉。
很好用,谢谢
--West_Jing
2. Re:[Kafka] - Kafka Java Producer代码实现
222
--诸葛烤鱼2019
3. Re:[Kafka] - Kafka Java Producer代码实现
111
--诸葛烤鱼2019
4. Re:[Linux] - xxx 不在 sudoers 文件中。此事将被报告。
能问一下,报告的内容在哪?
--MrWu08
5. Re:[Kafka] - Kafka Java Consumer实现(二)
代码在ConsumerKafkaStreamProcesser类中,while (iter.hasNext()) {}进不去,并且后面的打印语句也没有结果
--Jelly旺
点击右上角即可分享