kafka安装

最近做一个项目的POC测试，打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程， 完成数据的实时更新，下面讲下kafka的安装

kafka的安装需要zookeeper,kafka自己带了zookeeper组件，只要自己配置下config/zoookeeper.properties 文件，然后启动就可以了，该文件的配置和zookeeper自带的配置文件一样的。

dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
server.1:2888:3888

配置dataDir, 然后在该目录下生成一个myid文件，填入zookeeper的id

添加server进行  例如：server.1:2888:3888 

然后启动zookeeper:

./bin/zookeeper-server-start.sh config/zookeeper.properties &

看启动成功没，多个zookeeper就在多天机器上执行该命令

 

下面配置kafka的配置文件，

zookeeper.connect=localhost:2181
#host.name=localhost
broker.id=0
host.name=node6

broker.id和zookeeper的myid有点像

 

启动kafka

./bin/kafka-server-start config/server.properties &

 

 

OK，有啥不懂的留言。

 

kafka-topics.sh --create --topic  test --replication-factor 1--partitions 1 --zookeeper localhost:2181