摘要:
一、spark Streaming是基于spark的流式批处理引擎 原理:将实时输入数据流以时间片为单位进行拆分,然后经过spark引擎以类似批处理的方式处理每个时间片数据 二、sparkStreaming作业流程 1.客户端提交作业后启动Driver(Driver是spark作业的Master); 阅读全文
摘要:
一、spark的特点 1.快速的 2.容易使用的 3.通用的 4.开放的 二、spark组件 sparkCore sparkSQL sparkStreaming MLibmachielearning GraphXgraphprocessing 三、函数、数组、map和tuple 阅读全文