spark集群搭建（三台虚拟机）——kafka集群搭建（4）

！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下：

virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机）

jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、park1.3.1-bin-hadoop2.6

第一篇：准备三台虚拟机环境，配置静态IP，ssh免密码登录

第二篇：搭建hadoop集群

第三篇：搭建zookeeper集群

第四篇：搭建kafka集群

第五篇：搭建spark集群

本文在前面基础上搭建kafka

一、Scala安装（2.12.6）

在spark1上:

1、下载解压重命名

2、配置Scala环境变量：

export SCALA_HOME=/usr/local/bigdata/scala
export PATH=$PATH:$SCALA_HOME/bin

3、验证Scala

root@spark1:/usr/local/bigdata/zk/conf# scala -version
Scala code runner version 2.12.6 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

　　

4、拷贝到spark2 和spark3上

$ cd /usr/local/bigdata
root@spark1:/usr/local/bigdata# scp -r scala root@spark2://usr/local/bigdata/
root@spark1:/usr/local/bigdata# scp -r scala root@spark3://usr/local/bigdata/

5、同理配置spark2和spark3环境变量

二、kafka（kafka_2.9.2-0.8.1）

在spark1上：

1、kafka下载解压重命名

2、修改server.properties

$ cd /usr/local/bigdata/kafka
$ cd ./config
$ vim server.properties

按顺序添加zookeeper的三台主机名

zookeeper.connect=192.168.43.124:2181,192.168.43.123:2181,192.168.43.125:2181

3、进入bin目录下

$ vim kafka-run-class.sh

找到

  KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

去掉

 -XX:+UseCompressedOops

4、slf4j-1.7.6

下载：链接：https://pan.baidu.com/s/1UQ728d7YOdRssrgYEUArUA 密码：h7bu

解压，将slf4j-nop-1.7.6.jar复制到 kafka 的libs 目录下

5、将kafka拷贝到spark2和spark3上

root@spark1:/usr/local/bigdata# scp -r kafka root@spark2://usr/local/bigdata/
root@spark1:/usr/local/bigdata# scp -r kafka root@spark3://usr/local/bigdata/

修改spark2上的kafka 的server.properties文件，将broker.id值改为1

broker.id=1

修改spark3上的kafka 的server.properties文件，将broker.id值改为2

 broker.id=2

三、启动kafka，三台机器均需要启动

$ cd kafka  #进入kafka安装目录下
$ ./bin/kafka-server-start.sh config/server.properties & 

启动成功

root@spark1:~# jps
2465 Jps
2435 NodeManager
2307 ResourceManager
1955 DataNode
1829 NameNode
1605 Kafka
2154 SecondaryNameNode
1519 QuorumPeerMain

 

如果启动出现卡住不动可能是内存不够，解决：

将 kafka-server-start.sh的
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
修改为
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"