摘要: 正文 上一篇简单的写了一个socketTextStream的demo,这个问题就是每一次不能将之前和之后的数据进行合并统一。接下来我们通过demo进行把着这个问题解决。 通过代码中的注释已经算是对这个方法的解释了,因为他可以拿到上一个计算结果,同时能读到当前数据,进行合并就显得简单的多了sc.che 阅读全文
posted @ 2017-09-18 21:20 xiaoyon 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 正文 SparkStreaming的入口是StreamingContext,通过scala实现 一个简单的实时获取数据。代码SparkStreaming官网也可以找到。 通过maven配置相关的配置,可能有时候会遇到如下情况: 找到你的maven配置pop.xml,将对应的spark-streami 阅读全文
posted @ 2017-09-18 19:17 xiaoyon 阅读(3060) 评论(0) 推荐(0) 编辑