kafka

kafka搭建及使用

kafka搭建

启动zookeeper服务

1.上传解压修改环境变量

#解压到上级目录
tar -zxvf kafka_2.11-1.0.0.tgz -C ../

#改文件名
mv kafka_2.11-1.0.0 kafka-1.0.0

#配置环境变量
export KAFKA_HOME=/usr/local/soft/kafka-1.0.0
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

2.修改配置文件

cd /usr/local/soft/kafka-1.0.0/config
vim server.properties

broker.id=0 每一个节点broker.id 要不一样

log.dirs=/usr/local/soft/kafka-1.0.0/data   数据存放的位置

zookeeper.connect=master:2181,node1:2181,node2:2181/kafka

3.将kafka文件同步到node1,node2

# 同步kafka文件
scp -r kafka-1.0.0/ node1:`pwd`
scp -r kafka-1.0.0/ node2:`pwd`


# 修改node1、node2中的/etc/profile，增加Kafka环境变量
export KAFKA_HOME=/usr/local/soft/kafka-1.0.0
export PATH=$PATH:$KAFKA_HOME/bin

#  在ndoe1和node2中执行source
source /etc/profile

4.修改node1和node2中的broker.id

cd /usr/local/soft/kafka-1.0.0/config/

vim server.properties

# node1
broker.id=1
# node2
broker.id=2

5.启动kafka

# 1、需要启动zookeeper,  kafka使用zk保存元数据
# 需要在每个节点中执行启动的命令
zkServer.sh start
# 查看启动的状体
zkServer.sh status

# 2、启动kafka，每个节点中都要启动（去中心化的架构）
# -daemon后台启动
kafka-server-start.sh -daemon /usr/local/soft/kafka-1.0.0/config/server.properties