kafka配置
官网:http://kafka.apache.org/
主要有3种安装方式:
1. 单机单broker
2. 单机多broker
3. 多机多broker
1. wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz
2. (可选,因为kafka自带zookeeper)wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz
配置ZOOKEEPER_HOME,然后bin下./zkServer.sh start即可启动zookeeper。
(多机zookeeper需额外新增conf下zoo.cfg)
3. 启动kafka
(可选)配置KAFKA_HOME,然后就可以用全局下启动命令
3.1 单机单broker
3.1.1 启动:kafka-server-start.sh config/server.properties
3.1.2 新建topic:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka_topic_1
其中--replication-factor表示备份数量
--partitions表示分区数量
3.1.3 新建consumer:kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_topic_1 --from-beginning
3.1.4 新建producer:kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_topic_1
其中--broker-list表示了消息要推送的地址<ip:port>
然后开始console中输入message,在consumer console中就会有消息显示。
3.2 单机多broker
3.2.1 启动server1:
kafka-server-start.sh config/server.properties
启动server2:
cp server.properties server2.properties
修改其中的broker.id=2, listeners=PLAINTEXT://:9093, log.dirs=/tmp/kafka-logs2
kafka-server-start.sh config/server2.properties
启动server3:
cp server.properties server3.properties
修改其中的broker.id=3, listeners=PLAINTEXT://:9094, log.dirs=/tmp/kafka-logs3
kafka-server-start.sh config/server3.properties
3.2.2 新建topic:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic kafka_topic_2
单机3个备份,3个分区
3.2.3 新建consumer:kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_topic_2 --from-beginning
3.2.4 新建producer:kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_topic_2
//blabla自己测试消息发送
3.2.5 查看各个server状态
kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_topic_2
3.3 多机多broker
略 2333333333