kafka配合log_transfer读取消息的一次故障

 

故障问题：log_transfer消息无法正常从kafka读取消息。日志输出全部为空

1，排查过程;查看log_transfer进程是否正常，这是首要的关键，当然是要在主机上进行查看，如果进程正常执行，手动杀死进程，然后重启log_transfer服务，发现出现如下错误

2，查看日志，找到问题出现在kafka的topic上，如下图

 3，于是手动创建了项目中需要的l两个topic

# 创建topic值
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.1.4.160:2181 --replication-factor 2 --partitions 6 --topic CC_Log

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 10.1.4.160:2181 --replication-factor 2 --partitions 6 --topic Group_Hit_Log

# 查询topic值
/usr/local/kafka/bin/kafka-topics.sh --zookeeper 10.1.4.160:2181 --list

4，进入kafka的bin目录下，重启主从的kafka服务，这里先启动主节点的kafka,再启动从节点的kafka服务。

1. cd   /usr/local/kafka/bin/

2. ./kafka-server-start.sh -daemon ../config/server.properties

5,  这下重启主节点的log_transfer服务。OK！