2017年7月26日
spark性能调优（四） spark shuffle中JVM内存使用及配置内幕详情
摘要： 转载：http://www.cnblogs.com/jcchoiling/p/6494652.html 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变，Spark 1.6.x 以前是基于静态固定的JVM内存使用架构和运行机制，如果你不知道 Spark 到底对 JVM 阅读全文
posted @ 2017-07-26 19:48 凌-风 阅读(602) 评论(0) 推荐(0) 编辑
spark性能调优（二） 彻底解密spark的Hash Shuffle
摘要： 装载：http://www.cnblogs.com/jcchoiling/p/6431969.html 引言 Spark HashShuffle 是它以前的版本，现在1.6x 版本默应是 Sort-Based Shuffle，那为什么要讲 HashShuffle 呢，因为有分布式就一定会有 Shuf 阅读全文
posted @ 2017-07-26 11:35 凌-风 阅读(1151) 评论(0) 推荐(0) 编辑
spark 性能调优（一） 性能调优的本质、spark资源使用原理、调优要点分析
摘要： 转载：http://www.cnblogs.com/jcchoiling/p/6440709.html 一、大数据性能调优的本质 编程的时候发现一个惊人的规律，软件是不存在的！所有编程高手级别的人无论做什么类型的编程，最终思考的都是硬件方面的问题！最终思考都是在一秒、一毫秒、甚至一纳秒到底是如何运行 阅读全文
posted @ 2017-07-26 10:37 凌-风 阅读(619) 评论(0) 推荐(0) 编辑