ELK7.13+Kafa+Filebeat集群安装部署
2021年8月13号部署
一. 摘要
ELK+Kafka+Filebeat是由Elasticsearch，Logstash，Kibana，Kafka以及Filebeat几大组件构成的一个基于web页面的日志分析工具。
日志分析是运维和开发解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。
二、集群架构及介绍
上面架构图分为五层，详细解释如下：
1. 第一层：数据采集
最左边的是filebeat做日志采集，同时把采集的日志分别发送给两个Kafka。
2. 第二层：数据缓存
kafka broker集群收集日志数据进行缓存。
3. 第三层：数据处理转发
logstash服务把接受到的日志，经过格式处理推送到ES DataNode。
4. 第四层：数据存储和搜索
ES DataNode 会把收到的数据，写磁盘，建索引库。
5. 第五层：数据展示
ES Master + Kibana 主要 协调 ES集群，处理数据检索请求，数据展示。
三. 组件介绍
1. ElasticSearch
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用java开发的，并作为Apache许可条款下的开放源码发布，
是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便
2. Logstash
主要是用来日志的搜索、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等
3. Kibana
是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图标，为用户提供强大的数据可视化支持，它能够搜索、展示存储在Elasticsearch中索引数据。使用它可以很方便的使用图表、表格、地图展示和分析数据
4. Kafka
数据缓冲队列。作为消息队列解耦了处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃
- 发布和订阅记录流，类似于消息队列或企业消息传递系统
- 以容错持久的方式存储记录流
- 处理记录发生的流
5. filebeat
隶属于Beats，轻量级数据收集引擎。基于原先Logstash-forwarder的源码改造出来。换句话说：Filebeat就是新版的Logstash-forwarder，也会是ELK Stack在Agent的第一选择，目前Beats包含四种工具：
- Packetbeat（搜集网络流量数据）
- Metricbeat（搜集系统、进程和文件系统级别的CPU和内存使用情况等数据）
- Filebeat（搜集文件系统）
- Winlogbeat（搜集Windows事件日志数据）
四、环境介绍
1.服务器环境信息
|
主机 |
IP |
系统版本 |
配置 |
安装的软件 |
|
server1 |
192.168.1.130 |
Centos7.9 |
2C/16G/100G |
ElasticSearch、Logstash、Kafka、Zookeeper、Kibana |
|
server2 |
192.168.1.131 |
Centos7.9 |
2C/16G/100G |
ElasticSearch、Logstash、Kafka、Zookeeper、ElastAlert |
|
server3 |
192.168.1.132 |
Centos7.9 |
2C/16G/100G |
ElasticSearch、Kafka、Zookeeper Filebeat、ElastAlert-dingding |
Zookeeper使用的是kafka自带的，ElastAlert是告警插件，下个章节会讲到(用不到可忽略)；举个例子，es收录到了名为“error”的bug日志，ElastAlert检测到以后，通过钉钉（邮件）等方式发送警告，收到告警后，这样我们就可以及时的去kibana查看具体日志啦。
2.软件版本信息
elasticsearch-7.13.0 logstash-7.13.0 kibana-7.13.0 kafka-2.13-2.6.0
五、安装部署
1. ElasticSearch集群部署
1.1.系统初始化
三台服务器都得执行 #修改系统参数 echo '* soft nproc 65535 root soft nproc unlimited' > /etc/security/limits.d/20-nproc.conf echo 'vm.max_map_count=262144' > /etc/sysctl.conf sysctl -p echo '* soft nofile 65535 * hard nofile 65535 * soft nproc 65535 * hard nproc 65535' > /etc/security/limits.conf 创建用户 groupadd elastic useradd elastic -g elastic
1.2.jdk安装部署
使用ES自带的jdk11即可，不用做任何操作
1.3.elasticsearch安装
1、下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz
cd /usr/local/src tar zxvf elasticsearch-7.13.0-linux-x86_64.tar.gz mv elasticsearch-7.13.0 ../elasticsearch mkdir /data/elasticsearch
2、修改配置
192.168.66.130
cluster.name: es-cluster node.name: node-1 path.data: /data/elasticsearch path.logs: /usr/local/elasticsearch/logs network.host: 192.168.66.130 http.port: 9200 transport.tcp.port: 9300 #集群主机IP discovery.seed_hosts: ["192.168.66.130:9300","192.168.66.131:9300","192.168.66.132:9300"] #集群中首次启动时可被选举为master的节点 cluster.initial_master_nodes: ["192.168.66.130","192.168.66.131","192.168.66.132"] #最少有两个节点存活才可以选举master discovery.zen.minimum_master_nodes: 2 #最少两个节点存活在开始数据存活 gateway.recover_after_nodes: 2 node.master: true node.data: true
#禁止操作系统交换出去，就是不使用swap，会影响es性能
bootstrap.mlockall: true
192.168.66.131
cluster.name: es-cluster node.name: node-2 path.data: /data/elasticsearch path.logs: /usr/local/elasticsearch/logs network.host: 192.168.66.131 http.port: 9200 transport.tcp.port: 9300 #集群主机IP discovery.seed_hosts: ["192.168.66.130:9300","192.168.66.131:9300","192.168.66.132:9300"] #集群中首次启动时可被选举为master的节点 cluster.initial_master_nodes: ["192.168.66.130","192.168.66.131","192.168.66.132"] #最少有两个节点存活才可以选举master discovery.zen.minimum_master_nodes: 2 #最少两个节点存活在开始数据存活 gateway.recover_after_nodes: 2 node.master: true node.data: true
#禁止操作系统交换出去，就是不使用swap，会影响es性能
bootstrap.mlockall: true
192.168.66.132
cluster.name: es-cluster node.name: node-3 path.data: /data/elasticsearch path.logs: /usr/local/elasticsearch/logs network.host: 192.168.66.132 http.port: 9200 transport.tcp.port: 9300 #集群主机IP discovery.seed_hosts: ["192.168.66.130:9300","192.168.66.131:9300","192.168.66.132:9300"] #集群中首次启动时可被选举为master的节点 cluster.initial_master_nodes: ["192.168.66.130","192.168.66.131","192.168.66.132"] #最少有两个节点存活才可以选举master discovery.zen.minimum_master_nodes: 2 #最少两个节点存活在开始数据存活 gateway.recover_after_nodes: 2 node.master: true node.data: true
#禁止操作系统交换出去，就是不使用swap，会影响es性能
bootstrap.mlockall: true
设置jvm大小
内存默认为1G，请在/usr/local/elasticsearch/config/jvm.options自行调整
1.4.启动es
# su - elastic -c "/usr/local/elasticsearch/bin/elasticsearch -d" #查看日志，是否正常启动 # tail -f /usr/local/elasticsearch/logs/es.log
1.5.查看集群健康状态
http://192.168.66.130:9200/_cluster/health?pretty { "cluster_name" : "es-cluster", "status" : "green", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 3, "active_primary_shards" : 15, "active_shards" : 30, "relocating_shards" : 0, "initializing_shards" : 0, "unassigned_shards" : 0, "delayed_unassigned_shards" : 0, "number_of_pending_tasks" : 0, "number_of_in_flight_fetch" : 0, "task_max_waiting_in_queue_millis" : 0, "active_shards_percent_as_number" : 100.0 } 其他两台的返回一样的结果 http://192.168.66.131:9200/_cluster/health?pretty http://192.168.66.132:9200/_cluster/health?pretty
1.6.安全认证
2019年5月21日，Elastic官方发布消息： Elastic Stack 新版本6.8.0 和7.1.0的核心安全功能现免费提供。 这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用 Spaces 为 Kibana提供全面保护。 免费提供的核心安全功能如下： 1）TLS 功能。 可对通信进行加密； 2）文件和原生 Realm。 可用于创建和管理用户； 3）基于角色的访问控制。 可用于控制用户对集群 API 和索引的访问权限； 通过针对 Kibana Spaces 的安全功能，还可允许在Kibana 中实现多租户。
总结：安全认证我们是因为kibana我们部署完没账密，需要用es本身的一个插件，实现账密安全登陆。
如下操作在其中一个node节点执行即可，生成完证书传到集群其他节点即可。
第一步，先生成证书 /usr/local/elasticsearch/bin/elasticsearch-certutil ca /usr/local/elasticsearch/bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 两条命令均一路回车即可，不需要给秘钥再添加密码。 证书创建完成之后，默认在es的数据目录，这里统一放到config下： cd /usr/local/elasticsearch/ mkdir -p config/certs/ mv elastic-certificates.p12 elastic-stack-ca.p12 config/certs/ 拷贝到另外两台机器 scp -r certs/ root@192.168.66.131:/usr/local/elasticsearch/config/ scp -r certs/ root@192.168.66.132:/usr/local/elasticsearch/config/
第二步，配置es的config文件，三台服务器加上以下配置 xpack.security.enabled: true xpack.security.transport.ssl.enabled: true xpack.security.authc.accept_default_password: true xpack.security.transport.ssl.verification_mode: certificate xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12 xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12
如上配置无误，则可以启动es。
第三步，为内置账号添加密码 ES中内置了几个管理其他集成组件的账号即：apm_system, beats_system, elastic, kibana, logstash_system, remote_monitoring_user，使用之前，首先需要添加一下密码，密码可以设置成同一个，不然比较难记 · interactive：给用户一一设置密码。 · auto：自动生成密码。 /usr/local/elasticsearch/bin/elasticsearch-setup-passwords interactive You will be prompted to enter passwords as the process progresses. Please confirm that you would like to continue [y/N]y Enter password for [elastic]: Reenter password for [elastic]: Enter password for [apm_system]: Reenter password for [apm_system]: Enter password for [kibana]: Reenter password for [kibana]: Enter password for [logstash_system]: Reenter password for [logstash_system]: Enter password for [beats_system]: Reenter password for [beats_system]: Enter password for [remote_monitoring_user]: Reenter password for [remote_monitoring_user]: Changed password for user [apm_system] Changed password for user [kibana] Changed password for user [logstash_system] Changed password for user [beats_system] Changed password for user [remote_monitoring_user] Changed password for user [elastic]
到这里就安全认证就完成了，然后接下来就是把密码配置到kibana
2. kibana部署
2.1.下载安装包
cd /usr/local/src wget https://artifacts.elastic.co/downloads/kibana/kibana-7.13.0-linux-x86_64.tar.gz
2.2.配置config
tar zxf kibana-7.13.0-linux-x86_64.tar.gz mv kibana-7.13.0 /usr/local/kibana cd /usr/local/kibana
vim config/kibana.yml server.port: 5601 elasticsearch.hosts: ["http://192.168.66.130:9200"] kibana.index: ".kibana" server.host: "0.0.0.0" elasticsearch.username: "elastic" elasticsearch.password: "123321"
2.2.3.启动kibana
cd /usr/local/kibana
nohup bin/kibana &
3. kafka集群部署
启动kafka之前，需要先安装zookeeper集群
3.1.下载安装包
3.2.安装zookeeper
三台机器同时操作
使用kafka的内置zookeeper进行配置 cd /usr/local/src tar zxf kafka_2.13-2.6.0.tgz mv kafka_2.13-2.6.0 ../kafka
3.3.配置config
三台机器同时f复制如下操作配置
vim config/zookeeper.properties
dataDir=/data/zookeeper # the port at which the clients will connect clientPort=2181 # disable the per-ip limit on the number of connections since this is a non-production config #maxClientCnxns=0 tickTime=2000 initLimit=10 syncLimit=5 # Disable the adminserver by default to avoid port conflicts. # Set the port to something non-conflicting if choosing to enable this #admin.enableServer=false #admin.serverPort=8080 server.1=192.168.66.130:2888:3888 server.2=192.168.66.131:2888:3888 server.3=192.168.66.132:2888:3888
192.168.66.130
mkdir /data/zookeeper echo 1 > /data/zookeeper/myid
192.168.66.131
mkdir /data/zookeeper echo 2 > /data/zookeeper/myid
192.168.66.132
mkdir /data/zookeeper echo 3 > /data/zookeeper/myid
3.4.启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
查看日志
bin/kafka-server-start.sh -daemon config/server.properties
3.5.配置kafka
192.168.66.130
cd /usr/local/kafka vim config/server.properties
broker.id=0 advertised.listeners=PLAINTEXT://192.168.66.130:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/usr/local/kafka/logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.66.130:2181,192.168.66.131:2181,192.168.66.132:2181 zookeeper.connection.timeout.ms=18000 group.initial.rebalance.delay.ms=0 auto.create.topics.enable = true
192.168.66.131
cd /usr/local/kafka
vim config/server.properties
broker.id=0 advertised.listeners=PLAINTEXT://192.168.66.131:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/usr/local/kafka/logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.66.130:2181,192.168.66.131:2181,192.168.66.132:2181 zookeeper.connection.timeout.ms=18000 group.initial.rebalance.delay.ms=0 auto.create.topics.enable = true
192.168.66.132
cd /usr/local/kafka
vim config/server.properties
broker.id=0 advertised.listeners=PLAINTEXT://192.168.66.132:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/usr/local/kafka/logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.66.130:2181,192.168.66.131:2181,192.168.66.132:2181 zookeeper.connection.timeout.ms=18000 group.initial.rebalance.delay.ms=0 auto.create.topics.enable = true
4.6.启动kafka
cd /usr/local/kafka
bin/kafka-server-start.sh -daemon config/server.properties
4. logstash部署
4.1.配置
192.168.66.130和192.168.66.131
cd /usr/local/src tar zvf logstash-7.13.0-linux-x86_64.tar.gz mv logstash-7.13.0 ../logstash cd /us/local/logstash [root@localhost logstash]# cat logstash.conf
input { kafka { bootstrap_servers => "192.168.66.130:9092,192.168.66.131:9092,192.168.66.132:9092" topics_pattern => ["elk-.*"] codec => "json" consumer_threads => 5 decorate_events => true auto_offset_reset => "latest" } } filter { } output { elasticsearch{ hosts => ["192.168.66.130:9200","192.168.66.131:9200","192.168.66.132:9200"] index => "%{[@metadata][kafka][topic]}-%{+YYYY-MM-dd}" user => "elastic" password => "123321" } stdout { codec => rubydebug } }
4.2.启动
cd /usr/local/logstash
nohup bin/logstash logstash.conf &
5.filebeat部署
5.1配置
192.168.66.132
业务机收集日志
[root@localhost filebeat]# cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/log/messages fields: topic: messages #tags: ["messages132"] - type: log paths: - /var/log/test.log fields: topic: test-log multiline.pattern: '^20' #正则匹配20开头的日志 #multiline.pattern: '^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}' #正则匹配，这种格式的都能匹配到2021-08-13 21:09:00 multiline.negate: true multiline.match: after output.kafka: hosts: ["192.168.66.130:9092", "192.168.66.131:9092", "192.168.66.132:9092"] topic: 'elk-%{[fields.topic]}' partition.round_robin: reachable_only: false required_acks: 1 compression: gzip max_message_bytes: 1000000 processors: - add_host_metadata: when.not.contains.tags: forwarded - add_cloud_metadata: ~ - add_docker_metadata: ~ - add_kubernetes_metadata: ~
5.2启动
./filebeat -e -c filebeat.yml
