随笔分类 -  kafka

kafka相关内容
摘要:1 原因 自己重建了kafka 但是只有一个分区 以前的offset没有重置,导致了消费的时候 找不到主题分区 手动删除之前的offset数据(mysql自定义配置) 阅读全文
posted @ 2019-10-20 20:39 Questions张 阅读(770) 评论(0) 推荐(0) 编辑
摘要:1 详细错误 2 查了下网上说是选举出问题了。自己因为是在重启集群,所以出现了上述报错。但是稳定运行一段时间后,不再报错。kakfa版本是CDH版本的0.10版本的kafka。 阅读全文
posted @ 2019-10-20 20:30 Questions张 阅读(962) 评论(0) 推荐(0) 编辑
摘要:1 详细异常 2 自己的fetch.max.bytes 一开始设置的比单条最大消息大小要小,所以无法启动,修改成一样后可以启动 阅读全文
posted @ 2019-10-20 20:27 Questions张 阅读(1079) 评论(0) 推荐(0) 编辑
摘要:激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka 阅读全文
posted @ 2019-05-06 23:08 Questions张 阅读(909) 评论(0) 推荐(0) 编辑
摘要:1 下载地址 http://www.kafkatool.com/download.html 2 下载dmg包,选择对应版本,我的kafka是2.1的版本,所以选择了Kafka Tool 2.0.4 3 安装过程,一路下一步 4 配置kafka集群,注意本机的hostname配置,根据个人机器情况配置 阅读全文
posted @ 2019-03-12 10:21 Questions张 阅读(9388) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-03-01 15:26 Questions张 阅读(1761) 评论(3) 推荐(0) 编辑
摘要:[root@hdp1 /mnt/software/maxwell-1.19.4]#kafka-topics.sh --zookeeper hdp1,hdp2,hdp3:2181 --create --topic maxwell --partitions 6 --replication-factor 阅读全文
posted @ 2019-01-18 17:31 Questions张 阅读(6591) 评论(0) 推荐(0) 编辑
摘要:ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)at kafka.network.Acceptor.openServerSoc 阅读全文
posted @ 2019-01-15 12:22 Questions张 阅读(10523) 评论(0) 推荐(2) 编辑
摘要:1 解压文件 tar -zvxf kafka_2.11-0.10.0.0.tgz 2 修改配置server.properties vim server.properties broker.id=1 zookeeper.connect=hdp1:2181,hdp2:2181,hdp3:2181 3 修 阅读全文
posted @ 2019-01-14 11:54 Questions张 阅读(934) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示