ELK+Kafka部署指南 (一)
一、准备工作
准备安装包
ELK下载地址：https://www.elastic.co/downloads
zookeeper下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/
kafka下载地址：http://kafka.apache.org/downloads
目前开发环境准备的安装包如下：
elasticsearch-7.0.0-linux-x86_64.tar.gz
logstash-7.0.0.tar.gz
kibana-7.0.0-linux-x86_64.tar.gz
kafka_2.11-2.2.0.tgz
zookeeper-3.4.12.tar.gz
将安装包上传到对应的服务器，比如172.18.5.47
二、安装ES（172.18.5.47)
elasticsearch官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
1、创建用户
因为elasticsearch不能使用root用户启动，所以需要先创建一个用户，并对用户进行授权，使用root用户登录，执行以下命令
useradd elasticsearch #创建用户
passwd elasticsearch #设置用户密码，输入与用户名一样的密码
2、安装unzip
yum install -y unzip
3、修改系统参数
vi /etc/security/limits.conf
增加以下内容
- soft nofile 65536
- hard nofile 131072
- soft nproc 2048
- hard nproc 4096
vi /etc/security/limits.d/90-nproc.conf
修改如下内容： - soft nproc 1024
修改为 - soft nproc 4096
vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
4、上传文件
使用elasticsearch用户登录，将之前下载好的elasticsearch-7.0.0-linux-x86_64.tar.gz上传
5、创建数据与日志目录
在elasticsearch用户的根目录执行以下命令
mkdir {log,data}
6、解压安装包、修改配置
解压安装包
tar -zxvf elasticsearch-7.0.0-linux-x86_64.tar.gz
进入
elasticsearch-7.0.0/config目录，config目录下有三个文件：
elasticsearch.yml # els的配置文件
jvm.options # JVM相关的配置，内存大小等等
log4j2.properties # 日志系统定义
开发环境修改后的配置如下：
easticsearch.yml
#cluster.name: erong-cluster #集群名称
node.name: node-47 #节点名称，仅仅是描述名称，用于在日志中区分
path.data: /kduser/elasticsearch/data #数据的默认存放路径
path.logs: /kduser/elasticsearch/log #日志默认存放路径
network.host: 172.18.5.47 #当前节点的IP地址
http.port: 9200 #对外提供服务的端口，9300为集群服务的端口
#cluster.initial_master_nodes: ["node-1"]
#discovery.zen.ping.unicast.hosts: ["172.18.5.47"] #集群个节点IP地址
#discovery.zen.minimum_master_nodes: 2 #为了避免脑裂，集群节点数最少为 半数+1
#bootstrap.system_call_filter: false #禁止系统调用过滤器
xpack.license.self_generated.type: basic
7.X系列还需要修改
可以配置：cluster.initial_master_nodes
jvm.options中默认内存为1G，开发环境可以不修改，生产时需要根据服务器内存调整大小
-Xms1g # JVM最大、最小使用内存
-Xmx1g
8、启动easticsearch
后台启动
./elasticsearch -d
9、访问测试
使用访问：http://172.18.5.47:9200，出现如下信息，说明访问成功
安装时遇到的问题
问题一： [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536])####
解决：切换到root用户，进入/etc/security目录下修改配置文件
vi /etc/security/limits.conf
增加以下内容
- soft nofile 65536
- hard nofile 131072
- soft nproc 2048
- hard nproc 4096
“*”表示给所有用户起作用
修改以上配置后需要重新登录即可是
注：要使 limits.conf 文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有：
ls /lib/security/pam_limits.so
问题二： max number of threads [2048] for user [es] is too low, increase to at least [4096]####
解决：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容：
- soft nproc 1024
修改为 - soft nproc 4096
注：修改以上配置后需要重启服务器
问题三：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]####
解决：切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
问题四：ERROR: bootstrap checks failed####
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
原因：
这是在因为Centos6不支持SecComp，而ES5.2.0默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。
解决：
在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
三、Kafka部署
1、创建用户####
使用root用户登录，执行以下命令(开发环境直接使用kduser，没有重新创建）
useradd kafka #创建用户
passwd kafka #设置用户密码，输入与用户名一样的密码
2、解压安装包####
使用新创建的用户将包上传至/kingdee/kafka，并解压
tar -zxvf kafka_2.11-2.2.0.tgz
3、安装并修改zookeeper配置####
cd /kingdee/zookeeper/
tar -xvf zookeeper-3.4.9.tar.gz
进入配置目录：cd /kingdee/zookeeper/zookeeper-3.4.9/conf
修改配置文件：vi zoo.cfg
zoo.cfg
#zookeeper数据存放目录
dataDir=/kingdee/zookeeper/data
#zookeeper日志存放目录
dataLogDir=/kingdee/zookeeper/logs
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
# 客户端连接的最大数量.
maxClientCnxns=60
# 心跳间隔时间，zookeeper中使用的基本时间单位，毫秒值。每隔2秒发送一个心跳
tickTime=2000
# leader与follower连接超时时间。表示10个心跳间隔
initLimit=10
# Leader与follower之间的超时时间，表示5个心跳间隔
syncLimit=5
4、修改kakfa配置####
进入配置目录：cd /kingdee/kafka/kafka_2.11-2.2.0/config
修改配置文件：vi server.properties
broker.id=0 #集群机器的id
#listeners=PLAINTEXT://172.18.5.42:9092 #监听地址，分别配置不同的服务器PLAINTEXT://172.18.5.42:9092，PLAINTEXT://192.168.11.162:9092
log.dirs=/kingdee/kafka/logs
zookeeper.connect=localhost:2181
5、启动zookeeper####
./zookeeper-server-start.sh ../config/zookeeper.properties 1>/dev/null 2>&1 & #后台启动
查看日志文件/kingdee/kafka/logs/server.log，如无异常信息说明zookeeper集群成功
6、启动kafka####
注：启动kafka之前需要将kafka、zookeeper所在服务器的防火墙关闭#####
./kafka-server-start.sh -daemon ../config/server.properties 1>/dev/null 2>&1 & #后台启动
出现下图中日志则说明启动成功了
