2019年9月11日
kafka Enabling Kerberos Authentication
摘要： CDK 2.0 and higher Powered By Apache Kafka supports Kerberos authentication, but it is supported only for the new Kafka Producer and Consumer APIs. If 阅读全文
posted @ 2019-09-11 20:01 大数据从业者FelixZh 阅读(504) 评论(0) 推荐(0) 编辑
Kafka MirrorMaker 跨集群同步工具
摘要： 一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。 图1. MirrorMaker 对于迁移的topic而言，topic名字一样， partiti 阅读全文
posted @ 2019-09-11 19:32 大数据从业者FelixZh 阅读(1264) 评论(0) 推荐(0) 编辑
Kafka跨集群迁移方案MirrorMaker原理、使用以及性能调优实践
摘要： 序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirr 阅读全文
posted @ 2019-09-11 19:24 大数据从业者FelixZh 阅读(3546) 评论(0) 推荐(0) 编辑
Authentication using SASL/Kerberos
摘要： 1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "ktadd -k /etc/security/keytabs/{keytab 阅读全文
posted @ 2019-09-11 19:19 大数据从业者FelixZh 阅读(577) 评论(0) 推荐(0) 编辑
JAAS configuration for Kafka clients
摘要： Clients may configure JAAS using the client configuration property sasl.jaas.config or using the static JAAS config file similar to brokers.JAAS confi 阅读全文
posted @ 2019-09-11 16:29 大数据从业者FelixZh 阅读(1473) 评论(0) 推荐(0) 编辑
kafka集群安全化之启用kerberos与acl
摘要： 一、背景 在我们部署完kafka之后，虽然我们已经可以“肆意”的用kafka了，但是在一个大公司的实际生产环境中，kafka集群往往十分庞大，每个使用者都应该只关心自己所负责的Topic，并且对其他人所使用的Topic没有权限。这样一来可以将资源隔离开来，二来可以防止误操作。 在权限控制之前，我们必 阅读全文
posted @ 2019-09-11 14:20 大数据从业者FelixZh 阅读(3010) 评论(0) 推荐(0) 编辑
配置两个不同kerberos认证中心的集群间的互信
摘要： 两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件：1）两个集群(XDF.COM和H 阅读全文
posted @ 2019-09-11 14:17 大数据从业者FelixZh 阅读(2278) 评论(0) 推荐(0) 编辑