kafka的简单使用

以下全部在kafka目录下进行
开启zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
开启kafka
nohup bin/kafka-server-start.sh config/server.properties &
创建队列
bin/kafka-topics.sh --zookeeper 192.168.218.134:2181,192.168.218.135:2181,192.168.218.136:2181 --topic TestTopic --replication-factor 1 --partitons 1 --create
生产者
bin/kafka-console-producer.sh --broker-list 192.168.218.134:9092,192.168.218.135:9092,192.168.218.136:9092 --topic TestTopic
消费者
bin/kafka-console-consumer.sh --zookeeper 192.168.218.134:2181,192.168.218.135:2181,192.168.218.136:2181 --topic TestTopic --from-beginning

 

2天1

kafka：用scala编写的：可做存储
----------------------------------
zk
消息系统
实时
分布式的
broker //代理，kafka服务器
topic //分区和副本
//物理层面上就是文件夹 分区*副本=文件的总数

producer //生产者生产消息，可以指定分区类
consumer //消费者
consumer group //消费者组，可消费多个主题。消费者组和主题之间是多对多的关系。

flume + kafka
r1=>c1=>k1=>broker->zk or r1=>c1=>k1=>broker->zk
--------------------------------
1.zk
2.kafka
3.console-consumer.sh
4.编写flume conf文件
flume/conf
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = localhost:9092

5.启动flume-ng
6.netcat
7.输入消息
8.在kafka-console-consumer.窗口看到消息