07 2017 档案

flink-connector-kafka consumer的topic分区分配源码
摘要：转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/7200599.html flink官方提供了连接kafka的connector实现，由于调试的时候发现部分消费行为与预期不太一致，所以需要研究一下源码。 flink-connector-kafka目前 阅读全文
posted @ 2017-07-18 19:29 sanmutongzi 阅读(6946) 评论(0) 推荐(0) 编辑
kafka consumer assign 和 subscribe模式差异分析
摘要：转载请注明原创地址：http://www.cnblogs.com/dongxiao-yang/p/7200971.html 最近需要研究flink-connector-kafka的消费行为，发现flink使用了kafka consumer一个比较底层一点的assign接口而不是之前比较常用的subs 阅读全文
posted @ 2017-07-18 16:23 sanmutongzi 阅读(16017) 评论(0) 推荐(1) 编辑
kafka 配置kerberos校验以及开启acl实践
摘要：转载请注明原创地址:http://www.cnblogs.com/dongxiao-yang/p/7131626.html kafka从0.9版本以后引入了集群安全机制，由于最近需要新搭建一套kafka集群，决定采用SASL/GSSAPI (Kerberos) 作为新集群的权限系统基础，本次新集群版 阅读全文
posted @ 2017-07-07 15:07 sanmutongzi 阅读(12719) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示