kafka环境搭建---Windows环境搭建
kafka环境搭建---Windows环境搭建
Kafka是使用zookeeper来进行的集群部署,要想使用kafka进行集群的话就需要安装zookeeper,而zookeeper是用Java编写的,因此zookeeper需要运行在Java环境上,那就需要安装Java环境,kafka环境搭建步骤如下,线安装Javajdk,在安装zookeeper,之后安装kafka,本文安装的是jdk-10_windows-x64版本。
1、安装java jdk
先安装jdk
点击 下一步
点击 更改 可以选择 安装目录,本文安装目录选择是:E:\Soft\Java\jdk-10\
然后点击 下一步
安装jre,直接点击 下一步
至此,安装完成
Ctrl+R打开 cmd 输入 java --version,显示下面即表示安装java成功
JDK环境变量配置
打开 计算机→属性→高级系统设置→高级→环境变量
新建系统变量JAVA_HOME
变量名:JAVA_HOME;变量值:E:\Soft\Java\jdk-10(刚刚的java安装目录)
编辑系统变量Path
Windows10 电脑,新建变量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
新建系统变量CLASSPATH变量
变量名:CLASSPATH 变量值:%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
2、安装zookeeper
下载地址: https://zookeeper.apache.org/releases.html
下载ZooKeeper,目前最新的稳定版本为 3.6.1 版本,可以根据需要自行选择下载,本文选择的是3.4.14版本。
Zookeeper有三个镜像地址,可以选择一个速度较快的镜像来下载,本文选择选则清华大学的国内镜像下载
下载完成之后,zookeeper-3.4.14.tar.gz
解压缩以后得到拷贝到指定文件夹下,zookeeper文件结构如下
bin:zookeeper的可执行脚本目录,包括Zookeeper服务进程,Zookeeper客户端等脚本。其中.sh是Linux环境下的脚本,.cmd是Windows环境下的脚本
conf:配置文件,zoo_sample.cfg为样例配置文件,使用的时候需要修改为zoo.cfg。log4j.properties:日志配置文件
lib:Zookeeper需要的一些依赖的包
zookeeper-contrib:一些用于操作zookeeper的工具包
recipes:zookeeper的一些用法的代码示例
环境变量中配置
新建系统变量ZOOKEEPER_HOME
变量名:ZOOKEEPER_HOME;变量值:E:\Soft\kafka\bak\zookeeper(刚刚的zookeeper安装目录)
编辑系统变量Path
Windows10 电脑,新建变量值:%ZOOKEEPER_HOME%\bin
运行zookeeper
修改conf目录下复制样例zoo_sample.cfg,然后修改为zoo.cfg,zoo.cfg中的配置
tickTime:基本时间度量单位,单位毫秒,客户端与服务端的心跳时间,客户端会话的超时时间等。tickTime的默认值为2000毫秒,
clientPort:zookeeper服务进程监听的TCP端口,默认情况下,服务端会监听2181端口。
dataDir:必须配置,用于配置存储快照文件的目录,如果没有配置dataLogDir,那么事务日志也会存储在此目录。
启动zookeeper服务
在Windows环境下,直接双击bin目录下的zkServer.cmd即可,Linux环境下,需要切换到bin目录,然年后执行命令./zkServer.sh start,前台运行:./zkServer.sh start-foreground
Zookeeper服务启动的时候会调用zkEnv.cmd或者zkEnv.sh脚本。zkEnv脚本的作用是设置zk运行的一些环境变量,如配置文件的位置和名称等
也可以Ctrl+R 启动cmd命令界面 输入zkserver 启动服务zookeeper服务
客户端连接zookeeper服务
Windows环境下直接双击bin目录下的zkCli.cmd,Linux环境下,需要切换到bin目录,然年后执行命令./zkCli.sh即可连接上zookeeper,
直接执行zkCli.cmd或者zkCli.sh命令默认以主机号 127.0.0.1,端口号 2181 来连接zookeeper,拦截指定的zookeeper服务器的话需要执行带有-server ip:port参数的命令,如./zkCli.sh -server 192.168.88.188:2181
3、安装kafka
下载地址: http://kafka.apache.org/downloads
下载kafka,目前最新的稳定版本为2.6,kafka_2.13-2.6.0.tgz版本,可以根据需要自行选择下载,本文选择的是kafka_2.13-2.5.0.tgz版本。
Kafka有三个镜像地址,可以选择一个速度较快的镜像来下载,本文选择选则清华大学的国内镜像下载
下载完成之后,kafka_2.13-2.5.0.tgz
解压缩以后得到拷贝到指定文件夹下,kafka文件结构如下
bin:kafka的可执行脚本目录,包括kafka服务进程,其中.sh是Linux环境下的脚本,.bat是Windows环境下的脚本
conf:配置文件
libs:kafka需要的一些依赖的jar包
logs:kafka日志文件
环境变量中配置
在环境变量中配path添加 C:\WINDOWS\system32\wbem
启动kafka服务
在E:\Soft\kafka\kafka_2.13-2.5.0下执行
.\bin\windows\kafka-server-start.bat .\config\server.properties
步骤如下:
打开E:\Soft\kafka\kafka_2.13-2.5.0目录,输入cmd 回车
在cmd中输入 .\bin\windows\kafka-server-start.bat .\config\server.properties
看到上述界面,即可表示Kafka 启动成功
kafka-manage 界面管理工具
下载kafka-manager 地址:https://github.com/yahoo/CMAK/releases
最新版本是3.0.0.5版本,在页面中的最下面点击next可以选择其他版本,这里我们下载 1.3.3.7 版本
下载完成之后,kafka-manager-1.3.3.7.zip
解压缩以后得到拷贝到指定文件夹下,kafka-manager-1.3.3.7文件结构如下
bin:kafka-manager的可执行脚本目录,kafka-manager.bat是Windows环境下的脚本
conf:kafka-manager配置文件
libs:kafka-manager需要的一些依赖的jar包
logs:kafka-manager日志文件
启动kafka-manage 界面管理工具
双击bin下的kafka-manager.bat 即可启动kafka-manager,kafka-manager 端口号默认是 9000
在浏览器地址栏中输入:http://localhost:9000/
注意:
1、在Windows环境下,zookeeper,kafaka,kafka_manager一般都是直接点击对应bin目录的.cmd, .bat等即可启动相应的服务。
2、kafka服务器的集群是通过zookeeper来进行集群部署的,对于zookeeper部署kafka集群模式下一般最好使用3个以上的kafka服务器,
这样的话一方面达到最低要求,另一方面可以进行负责均衡,这样可以提高kafka集群的高可用。