摘要： Catalyst揭秘 Day3 sqlParser解析 今天我们会进入catalyst引擎的第一个模块sqlparser，它是catalyst的前置模块。 树形结构 从昨天的介绍我们可以看到sqlParser会返回一个logicalPlan，它是TreeNode的子类。 TreeNode，作为一个树 阅读全文

摘要： Catalyst揭秘 Day1 Catalyst本地解析 今天开始讲下Catalyst，这是我们必须精通的内容之一： 基本概念 catalyst是一种解析器引擎，而不仅是sql解析引擎。如果研究下catalyst，可以在当中非常方便的添加你想做的任意新的优化技术，在优化技巧方面可以随意的扩展。也很少 阅读全文

摘要： Spark Streaming揭秘 Day35 Spark core思考 Spark上的子框架，都是后来加上去的。都是在Spark core上完成的，所有框架一切的实现最终还是由Spark core来做的。抛开任何具体的东西，现在考虑下Spark core是个什么东西。 解析rdd 程序就是数据+代 阅读全文

摘要： Spark Streaming揭秘 Day34 解析UI监听模式 今天分享下SparkStreaming中的UI部分，和所有的UI系统一样，SparkStreaming中的UI系统使用的是监听器模式。监听器模式是指，首先注册事件源，当事件或者数据发生改变时，监听器就会接收到这个改变，并对这种改变做出 阅读全文

摘要： Spark Streaming揭秘 Day32 WAL框架及实现 今天会聚焦于SparkStreaming中非常重要的数据安全机制WAL(预写日志)。 设计要点 从本质点说，WAL框架是一个存储系统，可以简单的认为是一个文件系统，其作用类似于BlockManager，我们首先看一下官方的说明： 这里 阅读全文

摘要： Spark Streaming揭秘 Day33 checkpoint的使用 今天谈下sparkstreaming中，另外一个至关重要的内容Checkpoint。首先，我们会看下checkpoint的使用。另外，会看下在应用程序重新启动时，是如何处理checkpoint的。 Checkpoint保存什 阅读全文

摘要： Kakfa揭秘 Day9 KafkaReceiver源码解析 上一节课中，谈了Direct的方式来访问kafka的Broker，今天主要来谈一下，另一种方式，也就是KafkaReceiver。 初始化 Direct和普通Receiver方式，最大的区别，是元数据的管理方式。Direct方式是没有通过 阅读全文

摘要： Kakfa揭秘 Day8 DirectKafkaStream代码解析 今天让我们进入SparkStreaming，看一下其中重要的Kafka模块DirectStream的具体实现。 构造Stream 首先，从工厂方法开始，在工厂方法createDirectStream中，有两类关键内容： Decod 阅读全文

摘要： Kakfa揭秘 Day7 Producer源码解密 今天我们来研究下Producer。Producer的主要作用就是向Kafka的brokers发送数据。从思考角度，为了简化思考过程，可以简化为一个单机版本的消息队列，只是这个消息队列在远程。 Producer.java 让我们从官方的Exampl 阅读全文

摘要： Kakfa揭秘 Day6 Consumer源码解密 今天主要分析下Consumer是怎么来工作的，今天主要是例子出发，对整个过程进行刨析。 简单例子 Example中Consumer.java是一个简单的例子： 首先，是有一些重要的参数： MAX_POLL_RECORDS_CONFIG 表示一次获取 阅读全文