08 2019 档案

kafka default partitioner java版本和scala版本的不同
摘要：scala import kafka.utils._ class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner { private val random = new java.util.Rando 阅读全文
posted @ 2019-08-23 14:58 sanmutongzi 阅读(732) 评论(0) 推荐(0) 编辑
sparkstreaming的状态计算-updateStateByKey源码
摘要：转发请注明原创地址：https://www.cnblogs.com/dongxiao-yang/p/11358781.html 本文基于spark源码版本为2.4.3 在流式计算中通常会有状态计算的需求，即当前计算结果不仅依赖于目前收到数据还需要之前结果进行合并计算的场景，由于sparkstream 阅读全文
posted @ 2019-08-15 17:43 sanmutongzi 阅读(799) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示