银河麒麟V10+zookeeper+kafka安装配置并运行
一、材料准备
三台虚拟机的IP地址：192.168.65.10、192.168.65.11、192.168.65.12（暂时没有）
虚拟机需要开放接口：
2.1 zookeeper：2181、2888、3888
2.2 kafka：9092 依赖于zookeeper
zookeeper安装包：zookeeper-3.4.14.tar.gz 我zookeeper的安装路径：/opt/zookeeper/zookeeper-3.4.14
zookeeper客户端：ZooInspector.zip
jdk版本：java version "1.8.0_361" 我jdk的安装路径：/usr/local/jdk/jdk8
kafka安装包：kafka_2.11-1.0.0.tgz 我kafka的安装路径：/opt/kafka
二、网络配置
如果是通过ip访问，则需要保证三台网络互通，并且需要配置ip+主机名。因为大数据服务间的访问很多都需要寻找域名，这里配置ip+主机名相当于一个域名查找功能。如果不配置，访问将会很慢。
查看主机名：hostname
修改主机名：hostnamectl set-hostname 主机名
配置ip+主机名：vi /etc/hosts
192.168.65.10 kafka1
192.168.65.11 kafka2
192.168.65.12 kafka3
我的客户端IP地址：192.168.65.1 kafka1
三、安装jdk8
[root@localhost kafka]# java -version # 检查是否安装
[root@localhost kafka]# whereis jdk # 查看jdk安装位置
安装详情见我的博客：https://www.cnblogs.com/liunaixu/p/17138107.html
四、安装zookeeper集群
[root@localhost kafka]# echo stat|nc 127.0.0.1 2181 # 查看zookeeper版本
我zookeeper的安装路径：/opt/zookeeper/zookeeper-3.4.14
安装详情见我的博客：https://www.cnblogs.com/liunaixu/p/17198356.html
补充：集群配置
路径：cd /opt/zookeeper/zookeeper-3.4.14/conf
vim zoo.cfg，添加集群配置
进入zookeeper数据文件目录：cd /opt/zookeeper/zookeeper-3.4.14/data
新建myid并且写入对应的myid，myid为第4步对应的数字（server.数字）
echo 1 > myid
vi myid
启动： cd /opt/zookeeper/zookeeper-3.4.14/bin --> ./zkServer.sh start
查看主从状态：./zkServer.sh status
或者jps
五、安装kafka集群
需要安装依赖于zookeeper
[root@localhost kafka]# find ./libs/ -name *kafka_* | head -1 | grep -o 'kafka[^ ]*' # 查看安装版本
kafka_2.11-1.0.0.jar
我kafka的安装路径：/opt/kafka
安装详情见我的博客：https://www.cnblogs.com/liunaixu/p/17123843.html
修改配置文件：vi /opt/kafka/config/server.properties
2.1 修改节点标识：broker.id=1（2,3）
2.2 配置可删除：delete.topic.enable=true
2.3 日志路径：log.dirs=/tmp/kafka-logs(我的目录) log.dirs=/opt/kafka/tmp
2.4 配置端口：port=9092（自定义，默认9092）
2.5 配置不可自动生成主题：auto.create.topics.enable=false
2.6 配置可被外部访问： listeners=PLAINTEXT://0.0.0.0:9092 （跟端口一致）advertised.listeners=PLAINTEXT://192.168.65.1:9092（跟端口一致）
2.7 配置清除数据日志文件策略： log.cleanup.policy=delete
2.8 配置zk：zookeeper.connect=192.168.248.10:2181,192.168.248.11:2181,192.168.248.12:2181
创建日志文件夹：mkdir /opt/kafka/log
进入目录： cd /opt/kafka/kafka_2.12-2.8.1/bin
启动：nohup ./kafka-server-start.sh /opt/kafka/kafka_2.12-2.8.1/config/server.properties >>/opt/kafka/log/kafkaLog
查看端口：netstat-luntp。ps：如果第一次启动失败，尝试再次启动。因为zookeeper可能还没启动完毕，这时候启动kafka就会报错找不到zookeeper的服务。
