kafka安装

Kafaka安装：

上传kafaka安装包：

 

 

 

解压安装包到指定目录：

sudo tar -zxf kafka_2.11-0.10.2.0.tgz -C /opt/module/

 

 

 

 

 

 

一定要赋予权限：

sudo chown -R hadoop ./kafka

打开一个终端输入下面命令启动Zookeeper服务

bin/zookeeper-server-start.shconfig/zookeeper.properties

 

 

 

若启动不成功则可能是与之前的zookeeper的dataDir冲突

修改kafka的zookeeper的配置文件

进入kafka的config的目录：

 

 

 

修改zookeeper.properties文件

 

 

 

然后重启zookeeper服务，启动成功

启动kafka服务

bin/kafka-server-start.sh config/server.properties

 

 

 

下载spark-streaming-kafaka注意版本号对应

 

 

 下载地址：https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.12/3.2.1

注意后面的2.12要与spark的scala版本对应

把jar文件复制到Spark目录下的jars目录下

 

 

 

在spark的jars目录下新建kafka文件夹

把kafka文件下的libs中的jar文件复制到里面