kafka安装流程和测试

1.上传文件到3台服务器

下载路径：http://kafka.apache.org/downloads

 2.添加环境变量

vi /etc/profile
KAFKA_HOME=/opt/software/kafka_2.11-0.10.1.0
PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

3.修改配置文件

[root@HDP01 ~]# cd /opt/software/kafka_2.11-0.10.1.0/config/
[root@HDP01 config]# vi server.properties

1.配置broker的ID
broker.id=1 //第一个kafka配置为1，第二个为2
2.打开监听端口
listeners=PLAINTEXT://ip：9092  //尽量填写ip地址，以免造成错误
3.修改log目录
log.dirs=.../kafka/logs
4.修改zookeeper.connect
zookeeper.connect=HDP01:2181,HDP02:2181,HDP03:2181

5.网络线程数量
num.network.threads=3
6.zookeeper每6秒监视kafka是否还活着
zookeeper.connection.timeout.ms=6000

4.分发到各个节点

修改broker.id的值

 scp -r /opt/software/kafka_2.11-0.10.1.0/ root@HDP02:/opt/software/

 scp -r /opt/software/kafka_2.11-0.10.1.0/ root@HDP03:/opt/software/

5.启动

1.先启动zookeeper集群
2.
#打印日志启动

kafka-server-start.sh $KAFKA_HOME/config/server.properties

　#不打印日志启动

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 

6.检查启动是否成功。查看jps

7.创建一个topic（名字为fdl）来测试是否成功运行,随便一个节点运行

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fdl

 

8.查看是否创建成功

kafka：kafka-topics.sh --list -zookeeper localhost:2181

 

关于topic

1.创建一个test的topic命令

kafka-topic.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.查看是否创建好

kafka-topic.sh --list -zookeeper localhost:2181

3.已生产身份对topic进行广播

kafka-console-producer.sh --broker-list localhost:9092 --topic test

4.集群其他节点以顾客身份进行访问

kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test

 

连接上后，producer发生任何消息，consumer实时接收

发送

接收