Linux中kafka的安装与基础教程

一.kafka下载地址：

 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.0/kafka_2.13-2.4.0.tgz

选择编译好的下载。

解压 软件。

 

 

cd kafka目录。

在安装Kafka集群的时候，碰到这个问题。

      我们知道在搭建Kafka集群的时候，我们需要设置broker.id，以作为当前服务器在整个集群的唯一标志。

1.Kafka配置目录下文件server.properties中一个broker.id

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs

2.另外还有一个属性log.dirs，这是kafka产生log目录，log目录 下有meta.properties文件，而meta.properties文件中也写有broker.id，这是在运行时产生的。

#Wed Nov 08 15:59:53 PST 2017
version=0
broker.id=2

如果提示重复可以把log.dirs 中的内容删除掉，会重新创建的。

3.启动Zookeeper server和Kafka server

kafka启动需要依赖Zookeeper,kafka安装包中自带的有该服务。可以使用自带的也可以使用另外安装的。只需要在kafka的配置文件中修改对应的zookeeper的相关服务地址就ok。

bin/zookeeper-server-start.sh config/zookeeper.properties 
bin/kafka-server-start.sh config/server.properties 

4.创建生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
>
>hello

5.创建消费者

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

hello