2016年5月21日
摘要：
Spark Streaming事务处理彻底掌握 感谢DT大数据梦工厂支持提供以下内容，DT大数据梦工厂专注于Spark发行版定制。 内容概括： 1Exactly once 2 输出不重复 1 正如银行转账业务一样，如果你给一个朋友转账一次，银行的系统必须保证此次的转账数据有且只能处理一次，不能出现另 阅读全文
摘要：
我们此次分享Driver端的容错，ReceivedBlockTracker,JobGenerator,DStream对于Driver端的元数据的容错至关重要。 本期概览： 1 ReceivedBlockTracker从元数据容错层面谈driver容错 2 JobGenerator,DStream从业 阅读全文
摘要：
本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 阅读全文
摘要：
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 数据接收全生命周期的思考 大数据处理框架中，最重要的就是性能，性能是排在前面的。其次再考虑其他的。因为数据量大，一不小心的多余的操作，几分钟，十几分钟就过去了。 根据一般的架构设计原则，接收数据和存储数据 阅读全文
摘要：
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 1 Receiver生命全周期 首先，我们找到数据来源的入口，入口如下 Receiver的设计是极其巧妙的。它的设计非常的出色，很多的地方都值得我们认真的学习。 在深入认识Receiver之前，我们有必要 阅读全文
摘要：
本期概览： ReceiverTracker架构设计 消息循环系统 ReceiverTracker具体的实现 Spark Streaming作为Spark Core基础 架构之上的一个应用程序，其中的ReceiverTracker接收到数据之后，具体该怎么进行数据处理呢？ 为了弄清楚这个问题，首先，我 阅读全文