随笔分类 - spark
摘要：一、简介 spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结
阅读全文
摘要：一、RDD、DataFrame和DataSet 1，共性 1、RDD、DataFrame和DateSet全都是spark平台下的弹性分布式数据集 2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历 3、三者都有partit
阅读全文
摘要：一、简介 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复与内存系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distribute DataSet，RDD)的AP
阅读全文
摘要：一、概述 1，定义 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 2，RDD的特点 RDD表示制度的分区的数据集，对RDD进行改动，只能通过RDD的
阅读全文
