2016年5月31日
Spark Streaming资源动态分配和动态控制消费速率
摘要： 本篇从二个方面讲解： 高级特性： 1、Spark Streaming资源动态分配 2、Spark Streaming动态控制消费速率 原理剖析，动态控制消费速率其后面存在一套理论，资源动态分配也有一套理论。 先讲理论，后面讨论。 为什么要动态资源分配和动态控制速率？ Spark默认是先分配资源，然后 阅读全文
posted @ 2016-05-31 12:53 VV一笑2016 阅读(1203) 评论(0) 推荐(0) 编辑
Spark Streaming数据清理内幕彻底解密
摘要： 本讲从二个方面阐述： 数据清理原因和现象 数据清理代码解析 Spark Core从技术研究的角度讲 对Spark Streaming研究的彻底，没有你搞不定的Spark应用程序。 Spark Streaming一直在运行，不断计算，每一秒中在不断运行都会产生大量的累加器、广播变量，所以需要对对象及 阅读全文
posted @ 2016-05-31 07:25 VV一笑2016 阅读(5918) 评论(0) 推荐(1) 编辑
Spark Streaming no receivers彻底思考
摘要： 数据接入Spark Streaming的二种方式：Receiver和no receivers方式 建议企业级采用no receivers方式开发Spark Streaming应用程序，好处： 1、更优秀的自由度控制 2、语义一致性 no receivers更符合数据读取和数据操作，Spark 计算框 阅读全文
posted @ 2016-05-31 07:07 VV一笑2016 阅读(1141) 评论(0) 推荐(0) 编辑
Spark Streaming updateStateByKey和mapWithState源码解密
摘要： 本篇从二个方面进行源码分析： 一、updateStateByKey解密 二、mapWithState解密 通过对Spark研究角度来研究jvm、分布式、图计算、架构设计、软件工程思想，可以学到很多东西。 进行黑名单动态生成和过滤例子中会用到updateStateByKey方法，此方法在DStream 阅读全文
posted @ 2016-05-31 00:23 VV一笑2016 阅读(2176) 评论(0) 推荐(0) 编辑
2016年5月22日
Spark Streaming源码解读之Driver容错安全性
摘要： 本节的主要内容： 一、ReceivedBlockTracker容错安全性 二、DStreamGraph和JobGenerator容错安全性 从数据层面，ReceivedBlockTracker为整个Spark Streaming应用程序记录元数据信息。 从调度层面，DStreamGraph和JobG 阅读全文
posted @ 2016-05-22 18:24 VV一笑2016 阅读(307) 评论(0) 推荐(0) 编辑
贯通Spark Streaming JobScheduler内幕实现和深入思考
摘要： 本节主要内容： 一、SparkStreaming Job生成深度思考 二、SparkStreaming Job生成源码解析 JobScheduler的地位非常的重要，所有的关键都在JobScheduler，它的重要性就相当于是Spark Core当中的DAGScheduler，因此，我们要花重点在J 阅读全文
posted @ 2016-05-22 18:09 VV一笑2016 阅读(500) 评论(0) 推荐(0) 编辑
Spark Streaming源码解读之Executor容错安全性
摘要： 本节主要考虑：Executor的安全性 主要是数据的安全容错，计算是借助Spark Core的计算容错，本次暂不考虑。 数据容错天然方式就是数据副本，当前数据有问题就读取另外一份；十秒数据出问题，再次读取，支持数据重放。 天然借助BlockManager做数据备份，参照Spark Core，有不同的 阅读全文
posted @ 2016-05-22 18:08 VV一笑2016 阅读(701) 评论(0) 推荐(0) 编辑
Spark Streaming ReceiverTracker架构设计
摘要： 本节的主要内容： 一、ReceiverTracker的架构设计 二、消息循环系统 三、ReceiverTracker具体实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？看源码Rec 阅读全文
posted @ 2016-05-22 17:56 VV一笑2016 阅读(437) 评论(0) 推荐(0) 编辑
Spark Streaming源码解读之流数据不断接收和全生命周期彻底研究和思考
摘要： 本节的主要内容： 一、数据接受架构和设计模式 二、接受数据的源码解读 Spark Streaming不断持续的接收数据，具有Receiver的Spark 应用程序的考虑。 Receiver和Driver在不同进程，Receiver接收数据后要不断给Deriver汇报。 因为Driver负责调度，Re 阅读全文
posted @ 2016-05-22 17:24 VV一笑2016 阅读(261) 评论(0) 推荐(0) 编辑
Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考
摘要： 本节的主要内容： 一、Receiver启动的方式设想 二、Receiver启动源码彻底分析 Receiver的设计是非常巧妙和出色的，非常值得我们去学习、研究、借鉴。 在深入认识Receiver之前，我们有必要思考一下，如果没有Spark、Spark Streaming，我们怎么实现Reciver？ 阅读全文
posted @ 2016-05-22 15:43 VV一笑2016 阅读(1051) 评论(0) 推荐(0) 编辑
下一页