【转】Spark性能测试报告

RDD可以很好地适用于支持数据并行的批量分析应用，包括数据挖掘，机器学习，图算法等，因为这些程序通常都会在很多记录上执行相同的操作。RDD不太适合那些异步更新共享状态的应用，例如并行web爬行器。因此，我们的目标是为大多数分析型应用提供有效的编程模型，而其他类型的应用交给专门的系统。

关于RDD详见：

弹性分布式数据集：一种基于内存的集群计算的容（二）：弹性分布式数据集（RDD）

硬件环境：

开发机器是 3台 Intel(R) Xeon(R) CPU E5440 @ 2.83GHz双核 2.8G 4G内存

操作系统：

Red Hat Enterprise Linux Server release 5.7 (Tikanga)

Spark配置：

三节点，每个节点2G内存，14 个维度，100个类别，10次迭代，使用不同大小样例文件分析。

结论1：定义0.8（数据量/2048/3）作为三节点的阈值，当运行数据在阈值内时性能成单调递增，当超过该阈值时，性能急剧下降，当超过阈值2%时性能下降53.11937%，当超过34.01326%，性能下降70.80896%

 

以下是测试数据：

序号	数据文件大小(M)	记录条数	耗时	数据文件/耗时	数据/内存	数据/内存/节点数
0	33.33	147,106	10	3.333344	0.016274	0.005425
1	100	441,319	13	7.692317	0.048828	0.016276
2	166.67	735,533	15	11.11118	0.081382	0.027127
3	233.33	1,029,746	20	11.66652	0.113931	0.037977
4	341.33	1,506,371	23	14.8406	0.166665	0.055555
5	512	2,259,557	30	17.06666	0.25	0.083333
6	682.67	3,012,743	42	16.25402	0.333335	0.111112
7	853.33	3,765,929	45	18.96291	0.416665	0.138888
8	1,024.00	4,519,115	57	17.96494	0.5	0.166667
9	1,194.67	5,272,301	65	18.37953	0.583335	0.194445
10	1,365.33	6,025,487	73	18.70316	0.666665	0.222222
11	1,536.00	6,778,673	80	19.20001	0.75	0.25
12	1,706.67	7,531,859	95	17.96491	0.833335	0.277778
13	1,877.33	8,285,044	147	12.77097	0.916665	0.305555
14	2,048.00	9,038,230	104	19.6923	1	0.333333
15	2,218.66	9,791,416	113	19.63417	1.08333	0.36111
16	2,389.33	10,544,602	124	19.26881	1.166665	0.388888
17	2,560.01	11,297,788	175	14.62861	1.250005	0.416668
18	2,730.66	12,050,974	184	14.84056	1.33333	0.444443
19	2,901.34	12,804,160	164	17.69109	1.41667	0.472223
20	3,072.00	13,557,346	155	19.81934	1.5	0.5
21	3,242.67	14,310,532	162	20.01647	1.583335	0.527778
22	3,413.34	15,063,718	166	20.56231	1.66667	0.555557
23	3,754.68	16,570,089	179	20.97585	1.83334	0.611113
24	4,266.68	18,829,646	189	22.57501	2.08334	0.694447
25	4,500.01	19,859,392	209	21.53114	2.197271	0.732424
26	4,666.68	20,594,925	202	23.10235	2.278652	0.759551
27	4,766.68	21,036,244	202	23.5974	2.32748	0.775827
28	4,866.68	21,477,563	226	21.53396	2.376309	0.792103
29	4,966.68	21,918,882	220	22.5758	2.425137	0.808379
30	5,066.68	22,360,201	458	11.06261	2.473965	0.824655
31	5,120.01	22,595,577	463	11.05834	2.500005	0.833335
32	6,656.01	29,374,250	1010	6.59011	3.250005	1.083335

性能趋势图：

Spark配置：

一节点， 2G内存，14 个维度，100个类别，10次迭代。

结论2：定义0.9（数据量/2048）作为三节点的阈值，当运行数据在阈值内时性能成单调递增，当超过该阈值时，性能急剧下降，当超过阈值8.3334961%时性能下降57.61797318%，当超过18.18167291%，性能下降66.4701143%

当超过36.36441116%，性能下降94.14757913%

序号	数据文件大小(M)	记录条数	耗时	数据文件/耗时	数据/内存
0	33.33	147,106	10	3.333344	0.016274
1	100.00	441,319	20	5.000006	0.048828
2	166.67	735,533	27	6.17288	0.081382
3	233.33	1,029,746	34	6.862657	0.113931
4	341.33	1,506,371	45	7.585197	0.166665
5	512.00	2,259,557	64	7.999997	0.25
6	682.67	3,012,743	85	8.031401	0.333335
7	853.33	3,765,929	102	8.365989	0.416665
8	1,024.00	4,519,115	118	8.67798	0.5
9	1,194.67	5,272,301	137	8.720216	0.583335
10	1,365.33	6,025,487	153	8.923729	0.666665
11	1,536.00	6,778,673	176	8.727279	0.75
12	1,706.67	7,531,859	193	8.84283	0.833335
13	1,877.33	8,285,044	223	8.41853	0.916665
14	2,048.00	9,038,230	574	3.567944	1
15	2,218.66	9,791,416	786	2.822724	1.08333
16	2,389.33	10,544,602	1134	2.106995	1.166665
17	2,560.01	11,297,788	5196	0.492688	1.250005

性能趋势图：

总论：在执行Spark程序的时候需预估所需的内存，当超过一定阈值后，性能将急剧下降。如有不对或不足的地方请指正。

版权声明：原创作品，转载请保持文章完整性，转载时请务必以超链接形式标明文章原始出版、作者信息和本声明。否则将追究法律责任。

博客地址：http://www.ninqing.net/

微博地址：http://weibo.com/ninqing

Posted in spark.Tagged spark, 性能测试.