随笔分类 - kafka
kafka相关内容
摘要:1 原因 自己重建了kafka 但是只有一个分区 以前的offset没有重置,导致了消费的时候 找不到主题分区 手动删除之前的offset数据(mysql自定义配置)
阅读全文
摘要:1 详细错误 2 查了下网上说是选举出问题了。自己因为是在重启集群,所以出现了上述报错。但是稳定运行一段时间后,不再报错。kakfa版本是CDH版本的0.10版本的kafka。
阅读全文
摘要:1 详细异常 2 自己的fetch.max.bytes 一开始设置的比单条最大消息大小要小,所以无法启动,修改成一样后可以启动
阅读全文
摘要:激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka
阅读全文
摘要:1 下载地址 http://www.kafkatool.com/download.html 2 下载dmg包,选择对应版本,我的kafka是2.1的版本,所以选择了Kafka Tool 2.0.4 3 安装过程,一路下一步 4 配置kafka集群,注意本机的hostname配置,根据个人机器情况配置
阅读全文
摘要:[root@hdp1 /mnt/software/maxwell-1.19.4]#kafka-topics.sh --zookeeper hdp1,hdp2,hdp3:2181 --create --topic maxwell --partitions 6 --replication-factor
阅读全文
摘要:ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)at kafka.network.Acceptor.openServerSoc
阅读全文
摘要:1 解压文件 tar -zvxf kafka_2.11-0.10.0.0.tgz 2 修改配置server.properties vim server.properties broker.id=1 zookeeper.connect=hdp1:2181,hdp2:2181,hdp3:2181 3 修
阅读全文