ELK平台部署

一、ELK

1.什么是ELK

通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK 是 elastic 公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为 elastic.co，ELK stack 的主要优点有如下几个：处理方式灵活： elasticsearch 是实时全文索引，具有强大的搜索功能配置相对简单：elasticsearch 的 API 全部使用 JSON 接口，logstash 使用模块配置，kibana 的配置文件部分更简单。检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。集群线性扩展：elasticsearch 和 logstash 都可以灵活线性扩展。前端操作绚丽：kibana 的前端设计比较绚丽，而且操作简单。

2.什么是Elasticsearch

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索

搜索、支持分布式可实现高可用、提供 API 接口，可以处理大规模日志数据，比如 Nginx、Tomcat、系统日志等功能。

Elasticsearch 使用 Java 语言开发，是建立在全文搜索引擎 Apache Lucene 基础之上的搜索引擎，https://lucene.apache.org/。

Elasticsearch 的特点：

  • 实时搜索、实时分析

  • 分布式架构、实时文件存储

  • 文档导向，所有对象都是文档

  • 高可用，易扩展，支持集群，分片与复制

  • 接口友好，支持 json

3.什么是 Logstash

Logstash 是一个具有实时传输能力的数据收集引擎，其可以通过插件实现日志收集和转发，支持日志过滤，支持普通 log、自定义 json 格式的日志解析，最终把经过处理的日志发送给 elasticsearch。

4.什么是kibana

Kibana 为 elasticsearch 提 供 一 个 查 看 数 据 的 web 界 面 ， 其 主 要 是 通 过elasticsearch 的 API 接口进行数据查找，并进行前端数据可视化的展现，另外还可以针对特定格式的数据生成相应的表格、柱状图、饼图等。

二、ELK 的工作原理

（1）在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。

（2）Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。

（3）Elasticsearch 对格式化后的数据进行索引和存储。

（4）Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

ELK 使用场景

 

三、安装部署ELK

 1.服务器角色以及配置

7-3　　node1节点（2C/4G）：node1/192.168.100.155                    Elasticsearch
7-5　　node2节点（2C/4G）：node2/192.168.100.160                   Elasticsearch
7-1　　日志节点：          log/192.168.100.146                 　　　Logstash  Kibana

2.前期准备

java环境

java -version                                        #如果没有安装，yum -y install java

关闭防火墙

systemctl disable  --now   firewalld
setenforce 0
sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/'  /etc/selinux/config

3.安装部署 Elasticsearch 软件

安装 Elasticsearch 软件

[root@localhost data]#ls
elasticsearch-6.7.2.rpm  elasticsearch-head-master.zip  node-v8.2.1.tar.gz  phantomjs-2.1.1-linux-x86_64.tar.bz2

[root@localhost data]#rpm -ivh elasticsearch-6.7.2.rpm
[root@localhost data]#cd /etc/elasticsearch/
[root@localhost elasticsearch]#mkdir bak 
[root@localhost elasticsearch]#cp -a *.yml  bak/
#备份

修改配置文件

[root@node1 elasticsearch]#vim elasticsearch.yml
17 cluster.name: my-elk-cluster
#修改集群名字

23 node.name: node1
24 node.master: true
25 node.data: true
#设置 节点名称 主从之间不能一致    24作为主节点   25作为数据节点

45 bootstrap.memory_lock: true
#内存锁开启  禁止使用  swap

57 network.host: 0.0.0.0
#监听地址
60 http.port: 9200
#  默认使用端口
61 transport.tcp.port: 9300
#内部传输端口

73 discovery.zen.ping.unicast.hosts: ["192.168.100.155:9300", "192.168.100.160:9300"]
#自动集群发现，加入主机名  使用单播 类似心跳线

修改系统配置

性能调优参数

[root@localhost elasticsearch]#vim /etc/security/limits.conf
......
*  soft    nofile          65536
*  hard    nofile          65536
*  soft    nproc           32000
*  hard    nproc           32000
*  soft    memlock         unlimited
*  hard    memlock         unlimited

修改systemd 服务管理器

/etc/systemd/system.conf 文件是用于配置 systemd 的，这是一种用于 Linux 操作系统的系统和服务管理器。通过这个文件，你可以自定义与系统操作、性能和行为相关的各种设置

  • DefaultTimeoutStartSec=：设置启动服务的默认等待时间

  • DefaultTimeoutStopSec=：设置停止服务的默认等待时间

  • DefaultRestartSec=：设置在重新启动服务之前的默认休眠时间

  • DefaultLimitNOFILE=：设置打开文件数量的默认限制

  • DefaultLimitNPROC=：设置进程数量的默认限制

  • DefaultLimitCORE=：设置核心文件大小的默认限制

  • DefaultEnvironment=：指定服务的默认环境变量

实际修改

[root@localhost elasticsearch]#vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

修改内核参数

Lucene 是一个高性能、全功能的文本搜索引擎库，用于实现高效的文本索引和搜索。它是用 Java 编写的，可以嵌入到各种应用程序中，以提供强大的全文搜索功能。Lucene 是许多流行搜索平台的核心，如 Apache Solr 和 Elasticsearch。

以下是 Lucene 的一些关键特性和功能：

  1. 文本索引：Lucene 提供了强大的文本索引功能，能够处理大规模文本数据并生成高效的索引。

  2. 全文搜索：支持复杂的查询语法，包括布尔查询、短语查询、通配符查询、模糊查询等。

  3. 可扩展性：Lucene 设计为模块化和可扩展的，允许用户根据需要扩展和定制其功能。

  4. 分词和分析：提供了丰富的分词器和分析器，用于将文本分解为可索引和可搜索的词语。

  5. 排序和评分：支持对搜索结果进行排序和评分，以提高搜索的准确性和相关性。

  6. 多语言支持：支持多种语言的文本处理和搜索。

优化elasticsearch用户拥有的内存权限 由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据，以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的，并且不可变，对于OS来说，能够很友好地将索引文件保持在cache中，以便快速访问；因此，我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES（JVM heap )。所以， 在ES内存设置方面，可以遵循以下原则：

  • 当机器内存小于64G时，遵循通用的原则，50%给ES，50%留给操作系统，供lucene使用

  • 当机器内存大于64G时，遵循原则：建议分配给ES分配 4~32G 的内存即可，其它内存留给操作系统，供lucene使用

[root@localhost elasticsearch]#vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数，参考数据（分配 2g/262144，4g/4194304，8g/8388608）
vm.max_map_count=262144

sysctl -p
sysctl -a | grep vm.max_map_count

重启服务器 启动 elasticsearch

reboot
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200

查看节点信息

浏览器访问  
http://192.168.100.155:9200  
http://192.168.100.160:9200 
查看节点 Node1、Node2 的信息。

浏览器访问 
http://192.168.100.155:9200/_cluster/health?pretty  
http://192.168.100.160:9200/_cluster/health?pretty
查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。


浏览器访问 http://192.168.100.155:9200/_cluster/state?pretty  检查群集状态信息

 

可以安装插件

谷歌浏览器插件

修改 Elasticsearch 主配置文件**

vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--注意空格
http.cors.enabled: true                #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"            #指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch
#重启elasticsearch  服务

测试插件

 

 

插入索引测试

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

-x 指定方法
-H 添加请求头
-d 请求体

刷新页面可以看到有新的数据

4.在应用服务器部署 Logstash

安装服务

#安装apache

yum -y install java
java -version
yum -y install httpd
systemctl start httpd

安装logstash

cd /opt
[root@localhost opt]#  rpm -ivh logstash-6.7.2.rpm                          

#开启服务
systemctl enable --now logstash.service

[root@localhost opt]# ln -s  /usr/share/logstash/bin/logstash   /usr/bin/
# 做软连接

使用logstash

Logstash 命令常用选项：

-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。

-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。

-t：测试配置文件是否正确，然后退出。
例子：在命令行中收集日志数据
#输入采用标准输入，输出采用标准输出（类似管道），新版本默认使用 rubydebug 格式输出
[root@localhost opt]# logstash -e 'input { stdin{} } output { stdout{} }'

 

例子：#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
结果与上面一样

使用 Logstash 将信息写入 Elasticsearch 中

[root@localhost opt]#logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.100.155:9200","192.168.100.160:9200"]} }'

//结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器查看索引信息和数据浏览。

# 输入信息
www.hx.com
hello world

 

使用配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）

  • input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等 file beats kafka redis stdin

  • filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式 grok 对若干个大文本字段进行再分割成一些小字段 (?<字段名>正则表达式) 字段名: 正则表达式匹配到的内容 date 对数据中的时间格式进行统一和格式化 mutate 对一些无用的字段进行剔除，或增加字段 mutiline 对多行数据进行统一编排，多行合并或拆分

  • output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。 elasticsearch stdout 

#格式如下：
input {...}
filter {...}
output {...}

#在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
    file { path =>"/var/log/messages" type =>"syslog"}
    file { path =>"/var/log/httpd/access.log" type =>"apache"}
    
vim system.conf
input {
    file{
        path =>"/var/log/messages"
        type =>"system"
        start_position =>"beginning"
        # ignore_older => 604800
        sincedb_path => "/etc/logstash/sincedb_path/log_progress"
        add_field => {"log_hostname"=>"${HOSTNAME}"}
    }
}
#path表示要收集的日志的文件位置
#type是输入ES时给结果增加一个叫type的属性字段
#start_position可以设置为beginning或者end，beginning表示从头开始读取文件，end表示读取最新的，这个要和ignore_older一起使用
#ignore_older表示了针对多久的文件进行监控，默认一天，单位为秒，可以自己定制，比如默认只读取一天内被修改的文件
#sincedb_path表示文件读取进度的记录，每行表示一个文件，每行有两个数字，第一个表示文件的inode，第二个表示文件读取到的位置（byteoffset）。默认为$HOME/.sincedb*
#add_field增加属性。这里使用了${HOSTNAME}，即本机的环境变量，如果要使用本机的环境变量，那么需要在启动命令上加--alow-env

output {
    elasticsearch {                                                #输出到 elasticsearch
        hosts => ["192.168.91.100:9200","192.168.91.101:9200"]    #指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"                            #指定输出到 elasticsearch 的索引格式
    }
}

实际例子：

[root@localhost log]# vim /etc/logstash/conf.d/system-log.conf 

input {
    file {
      path => "/var/log/messages"
      type => "system"
      start_position => "beginning"
    }
}

output {
  elasticsearch {
  hosts => [ "192.168.91.100:9200","192.168.91.101:9200" ]
  index => "system-%{+YYYY.MM.dd}"
  }
}

[root@localhost conf.d]# chmod +r /var/log/messages 
#添加权限

[root@localhost conf.d]# logstash -f system-log.conf

 刷新页面

 

5.安装 kibana 任意服务器

安装

rpm -ivh kibana-6.7.2-x86_64.rpm

修改配置

[root@localhost opt]# cd  /etc/kibana/
[root@localhost kibana]# cp kibana.yml  kibana.yml.bak -a

[root@localhost kibana]# vim kibana.yml

2   server.port: 5601                  #打开端口
7   server.host: "0.0.0.0"          #监听端口
28  elasticsearch.hosts: ["http://192.168.100.155:9200", "http://192.168.100.160:9200"]  #el服务器地址
37  kibana.index: ".kibana"         #打开索引
96  logging.dest: /var/log/k.log      #指定日志文件， 需要手动建立文件
114 i18n.locale: "zh-CN"              #中文设置

[root@localhost kibana]# chown kibana:kibana /var/log/k.log

启动 kibana

[root@localhost kibana]# systemctl enable --now kibana.service
[root@localhost kibana]# ss -nap |grep 5601

访问测试

192.168.100.146:5601

 

posted @ 2024-07-16 18:05  hx_ky36  阅读(3)  评论(0)  编辑  收藏  举报