Harvey.Sun

spark版本定制十八：Spark Streaming中空RDD处理及流处理程序优雅的停止

摘要：本期内容： 1、Spark Streaming中RDD的空处理 2、StreamingContext程序的停止一、Spark Streaming中RDD的空处理案例代码： Scala代码： package com.dt.spark.sparkstreamingimport org.apache. 阅读全文

posted @ 2016-06-02 16:33 Harvey.Sun 阅读(753) 评论(0) 推荐(0)

Spark版本定制八：Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

摘要：本期内容： 1、DStream与RDD关系彻底研究 2、Streaming中RDD的生成彻底研究一、DStream与RDD关系彻底研究课前思考： RDD是怎么生成的？ RDD依靠什么生成？根据DStream来的 RDD生成的依据是什么？ Spark Streaming中RDD的执行是否和Spar 阅读全文

posted @ 2016-05-23 22:25 Harvey.Sun 阅读(303) 评论(0) 推荐(0)

Spark版本定制七：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

摘要：本期内容： 1，JobScheduler内幕实现 2，JobScheduler深度思考摘要：JobScheduler是Spark Streaming整个调度的核心，其地位相当于Spark Core上的调度中心中的DAGScheduler！一、JobScheduler内幕实现问：JobSched 阅读全文

posted @ 2016-05-22 07:58 Harvey.Sun 阅读(419) 评论(0) 推荐(0)

spark版本定制六：Spark Streaming源码解读之Job动态生成和深度思考

摘要：本期内容： 1、Spark Streaming Job生成深度思考 2、Spark Streaming Job生成源码解析一、Spark Streaming Job生成深度思考源码解析： 1. 在大数据处理场景中，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就阅读全文

posted @ 2016-05-12 22:39 Harvey.Sun 阅读(273) 评论(0) 推荐(0)

spark版本定制五：基于案例一节课贯通Spark Streaming流计算框架的运行源码

摘要：本期内容： 1、在线动态计算分类最热门商品案例回顾与演示 2、基于案例贯通Spark Streaming的运行源码一、在线动态计算分类最热门商品案例回顾与演示案例回顾： package com.dt.spark.sparkstreaming import com.robinspark.utils 阅读全文

posted @ 2016-05-08 12:04 Harvey.Sun 阅读(321) 评论(0) 推荐(0)

spark版本定制四：Spark Streaming的Exactly-One的事务处理

摘要：本期内容： 1、Exactly once 2、输出不重复事务概念：比如银行转账，数据一定会被处理，且只被处理一次，能够输出，且只能输出一次，A转账给B只输出一次，B接收且只接收一次，双方要么同时成功或者同时失败！一、Exactly once Spark Core是怎么处理一个Job的？具体过程如阅读全文

posted @ 2016-05-07 16:58 Harvey.Sun 阅读(214) 评论(0) 推荐(0)

spark版本定制三：SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶之Job和容错

摘要：本期内容： 1、解密Spark Streaming Job架构和运行机制 2、解密Spark Streaming 容错架构和运行机制一、解密Spark Streaming Job架构和运行机制通过代码洞察Job的执行过程：通过观察Job在Spark集群上运行的Log和结合源代码分析出如下流程：阅读全文

posted @ 2016-05-07 14:11 Harvey.Sun 阅读(130) 评论(0) 推荐(0)

Spark版本定制二：通过案例对SparkStreaming透彻理解三板斧之二：解密SparkStreaming运行机制和架构

摘要：本期内容： 1、解密Spark Streaming运行机制 2、解密Spark Streaming架构上期回顾： 1、技术界的寻龙点穴，每个领域都有自己的龙脉，Spark就是大数据界的龙脉，Spark Streaming就是Spark的龙血； 2、采用了降维(把时间Batch Interval放大阅读全文

posted @ 2016-05-07 10:09 Harvey.Sun 阅读(186) 评论(0) 推荐(0)

Spark版本定制一：通过案例对SparkStreaming透彻理解三板斧之一

摘要：本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质问：为什么从Spark Streaming来切入spark源码版本订制？ Spark 阅读全文

posted @ 2016-05-05 15:23 Harvey.Sun 阅读(262) 评论(0) 推荐(0)

IMF百日大喜超大活动

摘要：为庆祝IMF百日大喜，回馈众粉丝关注与厚爱，同时感谢IMF成员的合作与支持，DT大数据梦工厂特别推出IMF百日庆典领红包及现场报名IMF享有最大幅度优惠价格活动！活动时间：2016年3月25日、26日、27日三天活动内容及参与方式： 1. 扫描或长按二维码关注DT_Spark大数据梦工厂微信公众阅读全文

posted @ 2016-03-26 19:08 Harvey.Sun 阅读(107) 评论(0) 推荐(0)

导航

公告