摘要：
ZooKeeper Canary我理解用于测试ZK节点是否正常的心跳服务，这是从ClouderaManager中粘下来的：这是 ZooKeeper 服务级运行状况测试，用于检查基本客户端操作是否正常以及是否在合理时间内完成。该测试将对定期执行以下操作序列的“Canary”测试的结果进行报告。首先，与... 阅读全文
摘要：
阅读全文
摘要：
在spark1.2以上的版本中，默认shuffle的方式已经变成了sortshuffle（在spark.shuffle.manager修改org.apache.spark.shuffle.sort.HashShuffleManager或者org.apache.spark.shuffle.sort.S... 阅读全文
摘要：
http://www.cnblogs.com/shenh062326/p/3946341.html 其实流程是从这里转载下来的，我只是在流程叙述中做了一下的标注。 当然为了自己能记住的更清楚，我没有直接copy而是打出来的。1、客户端提交作业后，启动Driver，Driver是Spark作业的Mas... 阅读全文
摘要：
转自http://bit1129.iteye.com/blog/2198531代码如下：package spark.examples.streaming import java.sql.{PreparedStatement, Connection, DriverManager} import... 阅读全文
摘要：
这个其实我前面已经记录过了，这里在记录一下。我可以通过参数人为的来控制分区大小，增加分区中即可增加任务的并行度，并行度高自然运行的就快了嘛。官方推荐集群中每个cpu并行的任务是2-3个（也就是2-3个partition），这样对于资源使用是最充分的那么如何调整并行度呢。在类似 sc.textFile... 阅读全文
摘要：
对于官方Programming Guides的GC优化一节做了阅读。在这里记录一下我的理解，可能记录的比较混乱没有条理：我理解其实GC优化的主要目的就是在你的任务执行中使用更少的内存，进行更少的gc回收，因为GC回收会使你的任务执行的更慢。使用-verbose:gc -XX:+PrintGCDeta... 阅读全文
摘要：
官网是这么说的：The first way to reduce memory consumption is to avoid the Java features that add overhead, such as pointer-based data structures and wrapper ... 阅读全文
摘要：
使用spark.streaming.receiver.maxRate这个属性限制每秒的最大吞吐。官方文档如下：Maximum rate (number of records per second) at which each receiver will receive data. Effective... 阅读全文
摘要：
官方是这样说的：Directory to use for "scratch" space in Spark, including map output files and RDDs that get stored on disk. This should be on a fast, local di... 阅读全文