kafka环境搭建---Windows环境搭建

kafka环境搭建---Windows环境搭建

Kafka是使用zookeeper来进行的集群部署,要想使用kafka进行集群的话就需要安装zookeeper,而zookeeper是用Java编写的,因此zookeeper需要运行在Java环境上,那就需要安装Java环境,kafka环境搭建步骤如下,线安装Javajdk,在安装zookeeper,之后安装kafka,本文安装的是jdk-10_windows-x64版本。

1、安装java jdk

  

 

先安装jdk

  

 

点击 下一步

 

 

点击 更改 可以选择 安装目录,本文安装目录选择是:E:\Soft\Java\jdk-10\ 

然后点击 下一步

 

 

 

安装jre,直接点击 下一步

 

 

 

至此,安装完成

Ctrl+R打开 cmd 输入 java --version,显示下面即表示安装java成功

  

JDK环境变量配置 

打开 计算机→属性→高级系统设置→高级→环境变量

 

 

新建系统变量JAVA_HOME

变量名:JAVA_HOME;变量值:E:\Soft\Java\jdk-10刚刚的java安装目录

 

 

编辑系统变量Path

Windows10 电脑,新建变量值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

 

新建系统变量CLASSPATH变量 

变量名:CLASSPATH  变量值:%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

 

2、安装zookeeper

下载地址: https://zookeeper.apache.org/releases.html 

下载ZooKeeper,目前最新的稳定版本为 3.6.1 版本,可以根据需要自行选择下载,本文选择的是3.4.14版本。

 

 

 

Zookeeper有三个镜像地址,可以选择一个速度较快的镜像来下载,本文选择选则清华大学的国内镜像下载

 

 

下载完成之后,zookeeper-3.4.14.tar.gz

 

 

解压缩以后得到拷贝到指定文件夹下,zookeeper文件结构如下

 

 

bin:zookeeper的可执行脚本目录,包括Zookeeper服务进程,Zookeeper客户端等脚本。其中.shLinux环境下的脚本,.cmdWindows环境下的脚本 

conf:配置文件,zoo_sample.cfg为样例配置文件,使用的时候需要修改为zoo.cfglog4j.properties:日志配置文件 

lib:Zookeeper需要的一些依赖的包 

zookeeper-contrib:一些用于操作zookeeper的工具包 

recipes:zookeeper的一些用法的代码示例 

环境变量中配置

新建系统变量ZOOKEEPER_HOME

变量名:ZOOKEEPER_HOME;变量值:E:\Soft\kafka\bak\zookeeper(刚刚的zookeeper安装目录)

   

编辑系统变量Path

Windows10 电脑,新建变量值:%ZOOKEEPER_HOME%\bin 

   

运行zookeeper 

修改conf目录下复制样例zoo_sample.cfg然后修改为zoo.cfg,zoo.cfg中的配置

tickTime:基本时间度量单位,单位毫秒,客户端与服务端的心跳时间,客户端会话的超时时间等。tickTime的默认值为2000毫秒,

clientPort:zookeeper服务进程监听的TCP端口,默认情况下,服务端会监听2181端口。

dataDir:必须配置,用于配置存储快照文件的目录,如果没有配置dataLogDir,那么事务日志也会存储在此目录。 

启动zookeeper服务

Windows环境下,直接双击bin目录下的zkServer.cmd即可,Linux环境下,需要切换到bin目录,然年后执行命令./zkServer.sh start,前台运行:./zkServer.sh start-foreground

Zookeeper服务启动的时候会调用zkEnv.cmd或者zkEnv.sh脚本。zkEnv脚本的作用是设置zk运行的一些环境变量,如配置文件的位置和名称等 

也可以Ctrl+R  启动cmd命令界面 输入zkserver 启动服务zookeeper服务

 

客户端连接zookeeper服务 

Windows环境下直接双击bin目录下的zkCli.cmd,Linux环境下,需要切换到bin目录,然年后执行命令./zkCli.sh即可连接上zookeeper

直接执行zkCli.cmd或者zkCli.sh命令默认以主机号 127.0.0.1,端口号 2181 来连接zookeeper,拦截指定的zookeeper服务器的话需要执行带有-server ip:port参数的命令,如./zkCli.sh -server 192.168.88.188:2181

 

3、安装kafka

下载地址: http://kafka.apache.org/downloads

下载kafka,目前最新的稳定版本为2.6,kafka_2.13-2.6.0.tgz版本,可以根据需要自行选择下载,本文选择的是kafka_2.13-2.5.0.tgz版本。

 

Kafka有三个镜像地址,可以选择一个速度较快的镜像来下载,本文选择选则清华大学的国内镜像下载

 

下载完成之后,kafka_2.13-2.5.0.tgz

 

解压缩以后得到拷贝到指定文件夹下,kafka文件结构如下

 

 

bin:kafka的可执行脚本目录,包括kafka服务进程,其中.shLinux环境下的脚本,.batWindows环境下的脚本

conf:配置文件

libs:kafka需要的一些依赖的jar包

logs:kafka日志文件

 

环境变量中配置

在环境变量中配path添加 C:\WINDOWS\system32\wbem

 

 

启动kafka服务 

E:\Soft\kafka\kafka_2.13-2.5.0下执行 

.\bin\windows\kafka-server-start.bat .\config\server.properties 

步骤如下: 

打开E:\Soft\kafka\kafka_2.13-2.5.0目录,输入cmd 回车

 

cmd中输入  .\bin\windows\kafka-server-start.bat .\config\server.properties

 

 

 

 

 

看到上述界面,即可表示Kafka 启动成功 

 

kafka-manage 界面管理工具 

下载kafka-manager 地址:https://github.com/yahoo/CMAK/releases

 

 

最新版本是3.0.0.5版本在页面中的最下面点击next可以选择其他版本,这里我们下载 1.3.3.7 版本

下载完成之后,kafka-manager-1.3.3.7.zip

 

 

解压缩以后得到拷贝到指定文件夹下,kafka-manager-1.3.3.7文件结构如下

 

 

 

bin:kafka-manager的可执行脚本目录,kafka-manager.batWindows环境下的脚本

conf:kafka-manager配置文件

libs:kafka-manager需要的一些依赖的jar包

logs:kafka-manager日志文件

 

启动kafka-manage 界面管理工具  

双击bin下的kafka-manager.bat 即可启动kafka-managerkafka-manager 端口号默认是 9000

 

  

 

在浏览器地址栏中输入:http://localhost:9000/

 

 

注意:

1Windows环境下,zookeeper,kafaka,kafka_manager一般都是直接点击对应bin目录的.cmd, .bat等即可启动相应的服务。

2kafka服务器的集群是通过zookeeper来进行集群部署的,对于zookeeper部署kafka集群模式下一般最好使用3个以上的kafka服务器,

这样的话一方面达到最低要求,另一方面可以进行负责均衡,这样可以提高kafka集群的高可用。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

posted @ 2020-08-12 17:29  龙骑科技  阅读(2206)  评论(0编辑  收藏  举报