摘要: updateStateByKey 解释: 以DStream中的数据进行按key做reduce操作,然后对各个批次的数据进行累加 在有新的数据信息进入或更新时,可以让用户保持想要的任何状。使用这个功能需要完成两步: 1) 定义状态:可以是任意数据类型 2) 定义状态更新函数:用一个函数... 阅读全文
posted @ 2015-08-14 19:12 stark_summer 阅读(1057) 评论(0) 推荐(0) 编辑
摘要: 本人很少转载别人的文章,但看了这篇文章感觉非常不错,我不晓得这篇文章是否是此人原创翻译的,但给点个赞吧,加油转载于:http://blog.csdn.net/hust_sheng/article/details/47614925摘要: Tachyon是一种分布式文件系统,可以借助集群计算框架使得数... 阅读全文
posted @ 2015-08-14 08:22 stark_summer 阅读(362) 评论(0) 推荐(0) 编辑