报错：Kafka No kafka server to stop
摘要：报错背景 软件版本：kafka_2.11-2.2.1-kafka-4.1.0 新安装的Kafka启动之后，使用kafka-server-stop.sh命令无法正常关闭。 报错现象 报错原因 Kafka的关闭脚本有问题，找不到Kafka的进程号。 报错解决 原始Kafka关闭脚本：kafka-serv
阅读全文
posted @
2022-02-11 17:06
吹静静
阅读(478)
推荐(0) 编辑
报错：Bootstrap broker basecoalmine:2181 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
摘要：报错背景： 新安装的单机版kafka启动消费者的时候报错！ 报错现象： [2020-05-19 22:08:04,053] WARN [Consumer clientId=consumer-console-consumer-36457-1, groupId=console-consumer-3645
阅读全文
posted @
2020-05-19 22:21
吹静静
阅读(18812)
推荐(1) 编辑
Kafka历史数据保存策略配置
摘要：进入kafka配置文件，修改 server.properties 文件。 1 log.retention.hours=1 # 超过1个小时就清理数据 2 log.segment.bytes=5000 # 数据量超过5000byte就清理数据 3 log.cleanup.interval.mins=1
阅读全文
posted @
2020-05-14 20:47
吹静静
阅读(3620)
推荐(0) 编辑
报错（未解决）：Offset commit failed on partition xxx at offset 957: The coordinator is not aware of this member.
摘要：1.报错背景 服务器：Linux集群 3台，32GB内存； Kafka创建了大约140个Topic，和与Topic数目相同的Consumer，设置分区数量不祥； 每个Consumer都在GroupId，没有单独的standalone consumer； 项目在运行过程中突然出现了大量分区提交失败的现
阅读全文
posted @
2020-05-07 23:25
吹静静
阅读(26419)
推荐(1) 编辑
python调用kafka服务（使用kafka-python库）
摘要：试验环境： CDH 5.15.1 CentOS 7 Python 3.7.0 kafka 1.1.1 kafka-python ：https://pypi.org/project/kafka-python/#files 实验目的： 通过python线程，不断的将指定接口中的数据取出，并将数据不断发送
阅读全文
posted @
2019-06-12 10:05
吹静静
阅读(10970)
推荐(0) 编辑
报错:（未解决）NoReplicaOnlineException: No replica in ISR for partition __consumer_offsets-8 is alive. Live brokers are: [Set(50, 51, 52)], ISR brokers are: [68]
摘要：报错背景： CDH集成kafka插件之后，启动kafka时就报出此错误。 报错现象： 报错原因： 主要信息：No replica in ISR for partition __consumer_offsets-8 is alive 信息翻译：ISR中没有用于分区__consumer_offsets-
阅读全文
posted @
2019-05-21 15:01
吹静静
阅读(1801)
推荐(0) 编辑
报错：(未解决)java.lang.VerifyError: Instruction type does not match stack map
摘要：报错背景： CDH中集成kafka的服务，解决完kafka的jar包报错之后重启，发现这个报错。 报错现象： 报错原因： 报错原因不明，看不懂，没查到相关资料。 报错解决： 不知道怎么解决的，在无数次的重启之后，过了段时间报错自己消失了。
阅读全文
posted @
2019-05-21 11:01
吹静静
阅读(1780)
推荐(0) 编辑
报错：java.lang.AbstractMethodError: nl.techop.kafka.KafkaHttpMetricsReporter.logger()Lcom/typesafe/scalalogging/Logger;
摘要：报错背景： CDH启动kafka的时候出现报错情况，并且报错的节点挂掉。 报错现象： 报错原因： jar包冲突，仔细检查环境里面是不是有自己打的jar包里面正好有kafka的相关内容，并且放在了环境变量吧可以读取的目录。 报错解决： 删除冲突的jar包，或者更改环境变量，重启之后报错消失。
阅读全文
posted @
2019-05-21 10:46
吹静静
阅读(869)
推荐(0) 编辑
报错：Error while fetching metadata with correlation id 67 : {alarmHis=LEADER_NOT_AVAILABLE}
摘要：报错背景： 单机安装了kafka，创建完成主题，启动生产者的时候产生报错现象。报错时持续不断打印日志信息。 报错现象： 报错原因： 获取相关ID为xx的元数据时出错。 报错解决： 1.进入到kafka的安装目录下的配置文件目录 cd /opt/kafka/config 2.打开server.prop
阅读全文
posted @
2019-05-21 10:36
吹静静
阅读(9362)
推荐(0) 编辑
报错：Configured broker.id 68 doesn't match stored broker.id 113 in meta.properties
摘要：报错背景： CDH中安装完成kafka的组件后不能成功启动，发现UI界面中的broker.id和服务器中的broker.id不一致， 因此更改了服务器中broker.id 但是更改完成之后还是报错。 报错现象： Fatal error during KafkaServer startup. Prep
阅读全文
posted @
2019-05-06 10:21
吹静静
阅读(815)
推荐(0) 编辑
Kafka基本命令
摘要：1.创建自定义的topic 在bin目录下执行： kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 注:副本数量要小于等于节点数量 2.查看所有
阅读全文
posted @
2019-04-08 16:46
吹静静
阅读(173)
推荐(0) 编辑
报错：java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc（）
摘要：1.报错现象： 启动kafka的时候启动失败，并且会报告下面的错误： java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 报错原因： 产生这个错误的原因有两个： 一是，
阅读全文
posted @
2019-03-21 14:38
吹静静
阅读(1662)
推荐(0) 编辑
Flink+Kafka 接收流数据并打印到控制台
摘要：试验环境 Windows：IDEA Linux：Kafka，Zookeeper POM和Demo 在云主机上启动服务 1.启动zookeeper； 2.启动Kafka； 3.创建topic； 4.启动生产者。 运行程序KafkaDemo 1.在kafka的生产者界面输入内容 2.查看IDEA的控制台
阅读全文
posted @
2019-03-15 09:42
吹静静
阅读(10321)
推荐(0) 编辑
Kafka 配置安装
摘要：1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到01虚拟机，解压3.进入安装目录下的config目录4.对server.properties进行配置 [root@hadoop01 config]# vim server.properties 配置示例
阅读全文
posted @
2019-03-14 15:15
吹静静
阅读(151)
推荐(0) 编辑
解析流中的Xml文件时，报错：java.net.MalformedURLException: no protocol
摘要：原来的代码： 将流stream对接到xml解析的代码之后爆出错误： 解决方法： 即可成功。
阅读全文
posted @
2019-03-05 14:59
吹静静
阅读(7413)
推荐(0) 编辑
kafka产生的数据通过Flume存到HDFS中
摘要：试验目标： 把kafka的生产者发出的数据流经由Flume放到HDFS来存储。 试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配
阅读全文
posted @
2019-02-28 11:55
吹静静
阅读(4406)
推荐(0) 编辑
kafka服务自动关闭
摘要：解决方法： kafka启动的时候添加守护进程 问题原因： 待补充。。。
阅读全文
posted @
2019-02-27 14:29
吹静静
阅读(2037)
推荐(0) 编辑
管理
