摘要: Spark Streaming编程指南 概观 一个快速的例子 基本概念 链接 初始化StreamingContext 离散流(DStreams) 输入DStreams和Receivers DStreams的转换 DStreams的输出操作 DataFrame和SQL操作 MLlib运营 缓存/持久性 阅读全文
posted @ 2018-11-23 21:35 star521 阅读(381) 评论(0) 推荐(0) 编辑
摘要: TuningSpark 调整Spark 数据序列化 内存调整 内存管理概述 确定内存消耗 调整数据结构 序列化RDD存储 垃圾收集调整 其他考虑因素 并行程度 减少任务的内存使用情况 广播大变量 数据位置 摘要 内存管理概述 确定内存消耗 调整数据结构 序列化RDD存储 垃圾收集调整 并行程度 减少 阅读全文
posted @ 2018-11-23 20:31 star521 阅读(141) 评论(0) 推荐(0) 编辑
摘要: BigData 任重而道远 spark.apache.org/ https://flink-china.org https://stackoverflow.com/ https://mvnrepository.com/ https://github.com/star521li https://www 阅读全文
posted @ 2018-11-23 03:45 star521 阅读(172) 评论(0) 推荐(0) 编辑