摘要：
Spark Streaming揭秘 Day4 事务一致性Exactly one 引子 对于业务处理系统，事务的一致性非常的关键，事务一致性(Exactly one)，简单来说，就是输入数据一定会被处理，且只会被处理一次。下面来研究下Spark Streaming是如何做到这点的。我想说的是，Spar 阅读全文
摘要：
Spark Streaming揭秘 Day3 运行基石(JobScheduler)大揭秘 引子 作为一个非常强大框架，Spark Streaming兼具了流处理和批处理的特点。还记得第一天的谜团么，众多的Job形成了其血肉，而其背后都是有JobScheduler来支撑，这也是Spark Stream 阅读全文
摘要：
Spark Streaming揭秘 Day2 五大核心特征 引子 书接上回，Streaming更像Spark上的一个应用程序，会有多个Job的配合，是最复杂的Spark应用程序。让我们先从特征角度进行理解。 特征1：逻辑管理 DStream是对RDD封装的集合，作用于DStream的操作会对其中每个 阅读全文
摘要：
Spark Streaming揭秘 Day1 三大谜团 引子 在Spark的众多组件中，Streaming最接近企业级应用程序，学习Spark Streaming，是掌握大数据技术的一条捷径。今天是第一节课，让我们从头开始。本系列内容都是基于Spark1.6.1版本。 根据 "Quick Examp 阅读全文