随笔分类 - Kafka
摘要：本例不使用kerberos做认证，使用用户名和密码的方式来进行认证 1、服务端配置 1.0 配置server.properties 添加如下配置 #配置 ACL 入口类 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer #本例
阅读全文
摘要：执行命令 [hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.43.15:9092 --topic test --time -1 test:0:992786 test:1:
阅读全文
摘要：一、kafka配置jmx信息 1、修改kafka-run-class.sh 添加如下信息： -Djava.rmi.server.hostname=192.168.43.15 如下图： 2、修改kafka-server-start.sh 添加如下信息 export JMX_PORT="9999" 如下
阅读全文
摘要：一、下载安装 1、GitHub地址 https://github.com/didi/Logi-KafkaManager 2、解压 下载的如果是发布版本，那么可以直接解压使用，如果下载的是源码，那么需要编译。 这里演示release版本的。 需要依赖到数据库，所以最好先安装好MySQL 安装手册 ht
阅读全文
摘要：一、下载安装 1、下载地址： http://download.kafka-eagle.org/ 文档 http://www.kafka-eagle.org/articles/docs/introduce/what-is-kafka-eagle.html # wget https://github.c
阅读全文
摘要：1、 异常信息 org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the pa
阅读全文
摘要：一、安装相应的软件 1、安装java（略） 2、安装scala（略） 3、安装gradle (1)、下载地址： https://gradle.org/releases/ (2)、配置环境变量 (3)、验证 二、下载kafka源码 http://archive.apache.org/dist/kafk
阅读全文
摘要：对应kafka集群开启认证以后，客户端（包括kafka自带挡命令）如果想要访问访问，需要做如下操作： 1、创建一个jaas.conf 文件格式如下： KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyT
阅读全文
摘要：异常如下： 连接信息： from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers=['localhost:9092']) 解决办法： 只需将security_protocol="SSL" KafkaProdu
阅读全文
摘要：一、使用Kfaka自带的zookeeper服务。 1、下载Kafka，下载地址： http://kafka.apache.org/downloads 2、区分Kfaka版本： Scala 2.12 - kafka_2.12-2.2.1.tgz（asc，sha512） Kadka后面的 2.12是对应
阅读全文
摘要：<! done kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.parti
阅读全文
