随笔分类 - kafka
摘要：Hi, After enabled Kerberos using Ambari, I got problem creating topics in Kafka using the kafka-topics.sh script. The topic was created, but its statu
阅读全文
摘要：Short Description: Step by Step Recipe for Securing Kafka with Kerberos. Short Description: Article I found it is a little tricky to get started with
阅读全文
摘要：PROBLEM DESCRIPTION When creating or deleting topics in Kafka, they cannot be authorized through the Ranger policies. The following errors are display
阅读全文
摘要：使用ranger对kafka进行鉴权测试环境：ranger-kafka-plugin为0.6.3版本，kafka版本为kafka_2.10-0.10.1.1，且kafka broker为一个节点。一、Ranger对kafka进行权限控制，前提需要kafka开启kerberos认证（注意：若kafka
阅读全文
摘要：Follow these steps to enable and configure the Kafka plugin for Ranger. Before you begin The default policy user (ambari-qa) used for a plug-in should
阅读全文
摘要：Overview In Apache Kafka, the security feature is supported from version 0.9. When Kerberos is enabled, we need to have the authorization to access Ka
阅读全文
摘要：Exception in thread "main" org.I0Itec.zkclient.exception.ZkAuthFailedException: Authentication failure is thrown while creating kafka topic 个问题，截止 Dee
阅读全文
摘要：1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录，如下图： 然后直接添加组件即可 2.在线 配置相应的kafka地址 http://archive.cloudera.com/kafka/parcels/lat
阅读全文
摘要：This is intended to be an easy to understand FAQ on the topic of Kafka. One part is for beginners, one for advanced users and use cases. We hope you f
阅读全文
摘要：Brokers can be moved to a new host in a Kafka cluster. This might be needed in the case of catastrophic hardware failure. Make sure the following are
阅读全文
摘要：https://github.com/claudemamo/kafka-web-console http://github.com/pinterest/doctorkafka http://github.com/yahoo/kafka-manager http://github.com/linked
阅读全文
摘要：在线文档：https://ke.smartloli.org/ 作者博客：https://www.cnblogs.com/smartloli/p/9371904.html 源码地址：https://github.com/smartloli/kafka-eagle 源码编译：直接提供的脚本./build
阅读全文
摘要：本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读写和数据压缩实现磁盘的高效利用。 本文从宏观
阅读全文
摘要：本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中
阅读全文
摘要：http://kafka.apache.org/documentation/#ecosystem https://cwiki.apache.org/confluence/display/KAFKA/Ecosystem 转至元数据结尾 由 Jay Kreps创建, 最终由 Ray Chiang修改于
阅读全文
摘要：为了能够方便的查看及管理Kafka集群，yahoo提供了一个基于Web的管理工具（Kafka-Manager）。 这个工具可以方便的查看集群中Kafka的Topic的状态（分区、副本及消息量等），支持管理多个集群、重新分配Partition及创建Topic等功能。 jdk、sbt自行安装吧 sbt源
阅读全文
摘要：本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理，并介绍了Kafka如何处理事务相关的异常情况，如Transaction Coordinator宕机。最后介绍了Kafka的事务机制与PostgreSQL的MVCC以及Zookeeper的原
阅读全文
摘要：1. 幂等性设计1.1 引入目的生产者重复生产消息。生产者进行retry会产生重试时，会重复产生消息。有了幂等性之后，在进行retry重试时，只会生成一个消息。 1.2 幂等性实现1.2.1 PID 和 Sequence Number为了实现Producer的幂等性，Kafka引入了Producer
阅读全文
摘要：Apache kafka编译 前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址：https://github.com/apache/kafka 编译环境准备 java maven gradle 编译 失败原因：gradle版本太高，降低到4.8
阅读全文
摘要：1、生产者1.1、准备jaas.conf并添加到环境变量（使用以下方式的其中一种）1.1.1、使用Kinit方式前提是手动kinit 配置内容为： 1.1.2、使用指定keytab和票据的方式 准备好你的keytab文件 配置内容为： * 添加到环境变量: 2、执行命令 或者使用配置文件的方式 pr
阅读全文