报错:Kafka No kafka server to stop
摘要:报错背景 软件版本:kafka_2.11-2.2.1-kafka-4.1.0 新安装的Kafka启动之后,使用kafka-server-stop.sh命令无法正常关闭。 报错现象 报错原因 Kafka的关闭脚本有问题,找不到Kafka的进程号。 报错解决 原始Kafka关闭脚本:kafka-serv
阅读全文
posted @
2022-02-11 17:06
吹静静
阅读(478)
推荐(0) 编辑
报错:Bootstrap broker basecoalmine:2181 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
摘要:报错背景: 新安装的单机版kafka启动消费者的时候报错! 报错现象: [2020-05-19 22:08:04,053] WARN [Consumer clientId=consumer-console-consumer-36457-1, groupId=console-consumer-3645
阅读全文
posted @
2020-05-19 22:21
吹静静
阅读(18805)
推荐(1) 编辑
Kafka历史数据保存策略配置
摘要:进入kafka配置文件,修改 server.properties 文件。 1 log.retention.hours=1 # 超过1个小时就清理数据 2 log.segment.bytes=5000 # 数据量超过5000byte就清理数据 3 log.cleanup.interval.mins=1
阅读全文
posted @
2020-05-14 20:47
吹静静
阅读(3620)
推荐(0) 编辑
报错(未解决):Offset commit failed on partition xxx at offset 957: The coordinator is not aware of this member.
摘要:1.报错背景 服务器:Linux集群 3台,32GB内存; Kafka创建了大约140个Topic,和与Topic数目相同的Consumer,设置分区数量不祥; 每个Consumer都在GroupId,没有单独的standalone consumer; 项目在运行过程中突然出现了大量分区提交失败的现
阅读全文
posted @
2020-05-07 23:25
吹静静
阅读(26393)
推荐(1) 编辑
python调用kafka服务(使用kafka-python库)
摘要:试验环境: CDH 5.15.1 CentOS 7 Python 3.7.0 kafka 1.1.1 kafka-python :https://pypi.org/project/kafka-python/#files 实验目的: 通过python线程,不断的将指定接口中的数据取出,并将数据不断发送
阅读全文
posted @
2019-06-12 10:05
吹静静
阅读(10970)
推荐(0) 编辑
报错:(未解决)NoReplicaOnlineException: No replica in ISR for partition __consumer_offsets-8 is alive. Live brokers are: [Set(50, 51, 52)], ISR brokers are: [68]
摘要:报错背景: CDH集成kafka插件之后,启动kafka时就报出此错误。 报错现象: 报错原因: 主要信息:No replica in ISR for partition __consumer_offsets-8 is alive 信息翻译:ISR中没有用于分区__consumer_offsets-
阅读全文
posted @
2019-05-21 15:01
吹静静
阅读(1801)
推荐(0) 编辑
报错:(未解决)java.lang.VerifyError: Instruction type does not match stack map
摘要:报错背景: CDH中集成kafka的服务,解决完kafka的jar包报错之后重启,发现这个报错。 报错现象: 报错原因: 报错原因不明,看不懂,没查到相关资料。 报错解决: 不知道怎么解决的,在无数次的重启之后,过了段时间报错自己消失了。
阅读全文
posted @
2019-05-21 11:01
吹静静
阅读(1779)
推荐(0) 编辑
报错:java.lang.AbstractMethodError: nl.techop.kafka.KafkaHttpMetricsReporter.logger()Lcom/typesafe/scalalogging/Logger;
摘要:报错背景: CDH启动kafka的时候出现报错情况,并且报错的节点挂掉。 报错现象: 报错原因: jar包冲突,仔细检查环境里面是不是有自己打的jar包里面正好有kafka的相关内容,并且放在了环境变量吧可以读取的目录。 报错解决: 删除冲突的jar包,或者更改环境变量,重启之后报错消失。
阅读全文
posted @
2019-05-21 10:46
吹静静
阅读(869)
推荐(0) 编辑
报错:Error while fetching metadata with correlation id 67 : {alarmHis=LEADER_NOT_AVAILABLE}
摘要:报错背景: 单机安装了kafka,创建完成主题,启动生产者的时候产生报错现象。报错时持续不断打印日志信息。 报错现象: 报错原因: 获取相关ID为xx的元数据时出错。 报错解决: 1.进入到kafka的安装目录下的配置文件目录 cd /opt/kafka/config 2.打开server.prop
阅读全文
posted @
2019-05-21 10:36
吹静静
阅读(9349)
推荐(0) 编辑
报错:Configured broker.id 68 doesn't match stored broker.id 113 in meta.properties
摘要:报错背景: CDH中安装完成kafka的组件后不能成功启动,发现UI界面中的broker.id和服务器中的broker.id不一致, 因此更改了服务器中broker.id 但是更改完成之后还是报错。 报错现象: Fatal error during KafkaServer startup. Prep
阅读全文
posted @
2019-05-06 10:21
吹静静
阅读(815)
推荐(0) 编辑
Kafka基本命令
摘要:1.创建自定义的topic 在bin目录下执行: kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 注:副本数量要小于等于节点数量 2.查看所有
阅读全文
posted @
2019-04-08 16:46
吹静静
阅读(173)
推荐(0) 编辑
报错:java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc()
摘要:1.报错现象: 启动kafka的时候启动失败,并且会报告下面的错误: java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 报错原因: 产生这个错误的原因有两个: 一是,
阅读全文
posted @
2019-03-21 14:38
吹静静
阅读(1662)
推荐(0) 编辑
Flink+Kafka 接收流数据并打印到控制台
摘要:试验环境 Windows:IDEA Linux:Kafka,Zookeeper POM和Demo 在云主机上启动服务 1.启动zookeeper; 2.启动Kafka; 3.创建topic; 4.启动生产者。 运行程序KafkaDemo 1.在kafka的生产者界面输入内容 2.查看IDEA的控制台
阅读全文
posted @
2019-03-15 09:42
吹静静
阅读(10321)
推荐(0) 编辑
Kafka 配置安装
摘要:1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到01虚拟机,解压3.进入安装目录下的config目录4.对server.properties进行配置 [root@hadoop01 config]# vim server.properties 配置示例
阅读全文
posted @
2019-03-14 15:15
吹静静
阅读(151)
推荐(0) 编辑
解析流中的Xml文件时,报错:java.net.MalformedURLException: no protocol
摘要:原来的代码: 将流stream对接到xml解析的代码之后爆出错误: 解决方法: 即可成功。
阅读全文
posted @
2019-03-05 14:59
吹静静
阅读(7412)
推荐(0) 编辑
kafka产生的数据通过Flume存到HDFS中
摘要:试验目标: 把kafka的生产者发出的数据流经由Flume放到HDFS来存储。 试验环境: java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程: 1.进入zookeeper的bin目录,启动zookeeper $ zkServer.sh start 2.配
阅读全文
posted @
2019-02-28 11:55
吹静静
阅读(4405)
推荐(0) 编辑
kafka服务自动关闭
摘要:解决方法: kafka启动的时候添加守护进程 问题原因: 待补充。。。
阅读全文
posted @
2019-02-27 14:29
吹静静
阅读(2037)
推荐(0) 编辑