摘要：
本期内容 : UpdateStateByKey解密 MapWithState解密 Spark Streaming是实现State状态管理因素： 01、 Spark Streaming是按照整个BachDuration划分Job的，每个BachDuration都会产生一个Job，为了符合业务操作的需求 阅读全文
摘要：
本期内容 : Spark Streaming资源动态分配 Spark Streaming动态控制消费速率 为什么需要动态处理 ： Spark 属于粗粒度资源分配，也就是在默认情况下是先分配好资源然后再进行计算，粗粒度有个好处，因为资源是提前给你分配好，当有计算任务的时候直接使用就可以了， 粗粒度不好 阅读全文
摘要：
本期内容 : Spark Streaming数据清理原理和现象 Spark Streaming数据清理代码解析 Spark Streaming一直在运行的，在计算的过程中会不断的产生RDD ，如每秒钟产生一个BachDuration同时也会产生RDD， 在这个过程中除了基本的RDD外还有累加器、广播 阅读全文
摘要：
本期内容 : Direct Acess Kafka Spark Streaming接收数据现在支持的两种方式： 01、 Receiver的方式来接收数据，及输入数据的控制 02、 No Receiver的方式 以上两种方式中，No Receiver的方式更符合读取、操作数据的思路，Spark作为一个 阅读全文