摘要：
3.Dstream 创建 Spark Streaming 原生支持一些不同的数据源。一些“核心”数据源已经被打包到 Spark Streaming 的 Maven 工件中，而其他的一些则可以通过 spark-streaming-kafka 等附加工件获取。 每个接收器都以 Spark 执行器程序中一 阅读全文
摘要：
4.DStream 转换 DStream 上的原语与 RDD 的类似，分为 Transformations（转换）和 Output Operations（输 出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及 各种 Window 相关 阅读全文
摘要：
2.Dstream 入门 Spark Streaming的入口 StreamingContext 初始化完Context之后： 1）定义消息输入源来创建DStreams. 2）定义DStreams的转化操作和输出操作。 3）通过 streamingContext.start()来启动消息采集和处理. 阅读全文
摘要：
1.Spark Streaming 概述 1.1 Spark Streaming 是什么 Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可 阅读全文
摘要：
3.SparkSQL 数据源 3.1 通用加载/保存方法 3.1.1 手动指定选项 Spark SQL 的 DataFrame 接口支持多种数据源的操作。一个 DataFrame 可以进行 RDDs 方式 的操作，也可以被注册为临时表。把 DataFrame 注册为临时表之后，就可以对该 DataF 阅读全文