Kafka：基本操作

• 下载kafka_2.11-1.1.0.tgz，tar -zxf解压并进入解压目录，没有配置环境变量。

• kafka运行依赖zookeeper，启动zookeeper服务和kafka服务（默认单机模式，由配置文件决定）：

bin/zookeeper-server-start.sh config/zookeeper.properties &
bin/kafka-server-start.sh config/server.properties &

• 创建一个主题（topic）， 此主题一个备份，一个分区， 主题名为test：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --list --zookeeper localhost:2181 #列出所有主题
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test #查看主题详情

• 为主题打开一个producer，输入点信息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#This is a message
#This is another message

• 打开一个consumer，会收到主题下面的信息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
#This is a message
#This is another message

---

使用连接器（connector ）同步文件。 提供三个配置文件作为参数。
首先是Kafka Connect过程的配置，包含常见的配置，例如数据序列化格式。
还有两个连接器（一个从文件读取数据写入kafka主题，一个从kafka主题读取数据写到文件）的配置，包括唯一的连接器名称，要实例化的连接器类以及连接器所需的其他配置：

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties