2016年5月7日

spark版本定制四：Spark Streaming的Exactly-One的事务处理
摘要： 本期内容： 1、Exactly once 2、输出不重复 事务概念：比如银行转账，数据一定会被处理，且只被处理一次，能够输出，且只能输出一次，A转账给B只输出一次，B接收且只接收一次，双方要么同时成功或者同时失败！ 一、Exactly once Spark Core是怎么处理一个Job的？具体过程如 阅读全文
posted @ 2016-05-07 16:58 Harvey.Sun 阅读(217) 评论(0) 推荐(0)
spark版本定制三：SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶之Job和容错
摘要： 本期内容： 1、解密Spark Streaming Job架构和运行机制 2、解密Spark Streaming 容错架构和运行机制 一、解密Spark Streaming Job架构和运行机制 通过代码洞察Job的执行过程： 通过观察Job在Spark集群上运行的Log和结合源代码分析出如下流程： 阅读全文
posted @ 2016-05-07 14:11 Harvey.Sun 阅读(133) 评论(0) 推荐(0)
Spark版本定制二：通过案例对SparkStreaming透彻理解三板斧之二：解密SparkStreaming运行机制和架构
摘要： 本期内容： 1、解密Spark Streaming运行机制 2、解密Spark Streaming架构 上期回顾： 1、技术界的寻龙点穴，每个领域都有自己的龙脉，Spark就是大数据界的龙脉，Spark Streaming就是Spark的龙血； 2、采用了降维(把时间Batch Interval放大 阅读全文
posted @ 2016-05-07 10:09 Harvey.Sun 阅读(195) 评论(0) 推荐(0)

导航