HDFS正常启动
zookeeper正常安装
sw目录下的KAFKA解压安装
tar zxvf kafka_2.11-0.11.0.2.tgz
mv kafka_2.11-0.11.0.2 ../md/
配置环境变量
vi ~/.bash_profile
export KAFKA_HOME=/home/a/md/kafka_2.11-0.11.0.2
export PATH=$KAFKA_HOME/bin:$PATH
source ~/.bash_profile
cd ~/md/kafka_2.11-0.11.0.2/config/目录下，修改server.properties,这里要注意启动几个kafka就要配置几个server.properties
server.properties主要配置参数
broker.id=0
delete.topic.enable=true 是否可以删除主题
listeners=PLAINTEXT://:9092 默认的端口，如果有多个的话，就要依次在每个server.properties中设置listeners=PLAINTEXT://:9092 server1.properties listeners=PLAINTEXT://:9093，server2.properties listeners=PLAINTEXT://:9094
log.dirs=/home/a/md/kafka_2.11-0.11.0.2/data1 为kafka要缓存的数据位置，
zookeeper.connect=master:12181/kafka0.11 连接到zookeeper哪里，如果有多个zookeeper服务器都要以逗号隔开，全部写上。
kafka如何启动呢
启动第1个:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server1.properties
启动第2个:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server2.properties
...
如何查看kafka相关信息呢？
zkCli.sh -server master:12181
ls /
get /kafka0.11/brokers/ids/0
创建topic呢？
kafka-topics.sh --create -topic mykafka1 --zookeeper master:12181/kafka0.11 --partitions 3 --replication-factor 1
查看topic呢
kafka-topics.sh --list --zookeeper master:12181/kakfa0.11
删除topic
kafka-topic.sh --delete -topic -zookeeper master:12181/kafka0.11
通过zkCli.sh -server master:12181可以进行各种源信息的查询。
查询当前topic下面的所有记录数
kafka-run-classs.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093
查询topic在分区上的记录数
kafka-run-class.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093 --partitions 0
kafka-run-class.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093 --partitions 1
kafka-run-class.sh kafka.tools.GetOffsetShell --topic mykafka2 --broker-list master:9092,master:9093 --partitions 2
配置producer 和cusumoer进行通信
producer生产数据
consumer接收数据
