elk 5.x的部署
前言
elk是由elasticsearch、logstash、kibana三者组成
其中elasticsearch主要负责数据存储与搜索
logstash主要负责收集日志信息以及对日志信息的切片索引等处理
kibana则是一个web界面，负责将信息进行图形展示
一般与上述三者使用的还有filebeat和redis
filebeat为c编写，不象logstash那样为java编写对资源占用高，所以可以替代logstash进行日志信息的收集
而redis作为一个缓存服务器，logstash收集分析的数据可以先在redis中暂存形成队列，同时再经由其它logastash将日志传送于elasticsearch，这也部分符合于elk的去中心化思想。
elk 5.0发布于2016/10/26，相比于2.x，有着一些毁灭性的变更，比如在elasticsearch的data目录下，index不再以logstash中的名称设定命名，而是直接以hash值命名。
同时也增加x-pack、beats、cloud三个插件，其中x-pack可以通过kibana对elasticsearch和kibana进行资源的监控。
更多变更可以查看:
本文安装环境:
centos 7.0
OpenJDK 1.8.0_111
elasticsearch和logstash均为java编写，故对java版本有要求，最低java版本为1.8.0_73，可以通过java -version查看java版本
同时可以使用filebeat替代logstash进行日志收集与传递，
elasticsearch+logstash+kibana的安装
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-x86_64.rpm
yum –y localinstall elasticsearch-5.1.1.rpm logstash-5.1.1.rpm kibana-5.1.1-x86_64.rpm
elasticsearch的配置设定
[root@iZ258xanrejZ ~]# grep -v ^# /etc/elasticsearch/elasticsearch.yml
cluster.name: elk ##elk cluster名称
node.name: node-1 ##多节点时nodenama不能相同
path.data: /elk/data ##数据目录路径
path.logs: /elk/logs ##日志目录路径
bootstrap.memory_lock: true ##内存锁设定，一定要打开
network.host: 0.0.0.0 ##监听本机所有地址
http.port: 9200 ##默认端口
同时此配置文件为yml格式，所以设置荐均需要顶格开始，不能留有空格
创建日志与数据路径
mkdir -pv /elk/{data,logs}
chown -R elasticsearch.elasticsearch /elk
在5.x中加强了bootstrap_check，任何与预设不符的均无法正常启动elasticsearch，相关详细要求可以查询>>>官方说明
其中几个重要设置为
- 堆大小检测
vim /etc/elasticsearch/jvm.options
-Xms2g
-Xmx2g
最大堆内存和最小堆内存两者值设定为一至，同时尽可能大，同时不要超过32G，最大堆内存和最小堆内存如果不一致，在启动中的时候会进行内存大小自动调整，可能会出现中断的情况，为了避免此情况的产生，所以heap_check中要求最大内存最小内存相当，本例中设置为2G
2. 内存锁定检测
在/etc/elasticsearch/elasticsearch.yml中设定，设定bootstrap.memory_lock的值为true
3. 文件打开数
在/etc/security/limits.conf增加elasticsearch最大文件打开数为65536
elasticsearch soft nofile 65536
elasticsearch hard nofile 65536
除此之外还有其它几个选项需要更改，但在实际安装中，未出现需求，其它启动检测项次可以查阅上述官网说明
在内存锁定检测，除了在要设定bootstrap.memory_lock的值为true之外，在/usr/lib/systemd/system/elasticsearch.service也需要开打LimitMEMLOCK=infinity设定，否则会出现内存未锁定的报错，在官方文档中并未找到对应说明，可能为5.1.1版本的一个bug。
启动elasticsearch和查看elasticsearch状态
systemctl start elasticsearch.service
systemctl status elasticsearch.service
通过web访问对应的9200端口，可以查看到对应的节点信息
命令行中查看elasticsearch cluster状态和node状态
logstash的配置
logstash中主要存在三个部分:input,filter,output
input:从哪里取得日志，其中日志文件路径必须为绝对路径，但可以使用*匹配所有进行递归
filter:对日志作如何过滤，比如增加字段，删减字段等
output:将日志切片后输出到哪去
logstash的标准输入输出检测
/usr/share/logstash/bin/logstash -e "input {stdin{}} output{stdout{ codec=>"rubydebug"}}"
然后输入任意值时会发现屏幕区域会输出对应相同的值，如下图，说明logstash输入输出ok
本文中举例对nginx的访问日志进行收集，可以使用grok通过正则表达式对nginx进行过滤切片，但会对性能产生一定的影响，所以将nginx的日志格式设置成json格式，可减少对资源的占用
nginx的日志格式设定如下:
log_format json
'{"@timestamp":"$time_iso8601",'
'"host":"$server_addr",'
'"clientip":"$remote_addr",'
'"size":$body_bytes_sent,'
'"responsetime":$request_time,'
'"upstreamtime":"$upstream_response_time",'
'"upstreamhost":"$upstream_addr",'
'"http_host":"$host",'
'"url":"$uri",'
'"domain":"$host",'
'"xff":"$http_x_forwarded_for",'
'"referer":"$http_referer",'
'"status":"$status"}';
access_log /var/log/nginx/access.log json;
对应nginx的日志内容如下:
{"@timestamp":"2016-12-28T14:40:37+08:00","host":"123.56.189.18","clientip":"101.226.99.195","size":3700,"responsetime":0.000,"upstreamtime":"-","upstreamhost":"-","http_host":"123.56.189.18","url":"/index.html","domain":"123.56.189.18","xff":"-","referer":"-","status":"200"}
该日志是否符合json格式可通过进行验证>>点我
logstash对nginx的日志输入输出配置文件如下
[root@iZ258xanrejZ ~]# cat /etc/logstash/conf.d/system.conf
input {
file {
type => "tomcatlog" ##type名称，可自行命令
path => "/var/log/tomcat/localhost_access_log.*.txt" ##日志文件的绝对路径，可以使用*代表所有
start_position => "beginning" ##文件读取位置，beginning意思第一次读取时从最开始处读取
}
file {
type => "nginxlog"
path => "/var/log/nginx/access.log"
start_position => "beginning"
codec => "json"
}
}
filter {
if [type] == "nginxlog" { ##过滤类型
geoip {
source => "clientip" ##过滤内容来源
target => "geoip" ##属性设定值
database => "/etc/logstash/GeoLite2-City.mmdb" ##地图加载路径
add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ] ##字段增加纬度
add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ] ##字段增加经度
}
mutate {
convert => [ "[geoip][coordinates]", "float"] ##将经度纬度信息转变为坐标，类型为float型
}
}
}
output {
if [type] == "tomcatlog" { ##type类型与input中保持一致
elasticsearch {
hosts => ["localhost:9200"] ##output的es主机
index => "logstash-tomcat-messages-%{+YYYY.MM.dd}"
##index命令，需要带上时间格式，同时要使用geoip时进行tile map制图时index命名必须以logstash-开头，否则会出现找不到geoip type的错误
user => marility ##在安装x-pack后需要验证的用户密码，不安装x-pack可不用
password => chunlanyy
}}
else if [type] == "nginxlog" { ##多个type时使用else进行匹配即可
elasticsearch {
hosts => ["localhost:9200"]
index => "logstash-nginx-messages-%{+YYYY.MM.dd}"
user => marility
password => chunlanyy
}}
}
logstash配置文件的检查
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/system.conf -t
logstash的启动命令
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/system.conf
启动后可以在elasticsearch的data目录下看到一些文件的出现，即为存储的数据
kibana的配置设置
[root@iZ258xanrejZ ~]# grep -v ^# /etc/kibana/kibana.yml | grep -v ^$
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"
其中elasticsearch.url的值必须设定，为elasticsearch的主机ip
访问kibana：
在浏览器中输入http://kibana服务器ip:5601
elk5.x查看index名称的方法
由于elasticsearch5.x的index名称命名为hash命名方式，故无法在elasticsearch的data目录中查看，如下图
此hash值的index无法在kibana中添加
可使用curl http://localhost:9200/_cat/shards?pretty查看
然后再在kibana中添加，下图中的星号可点击，即为进入kibana时显示的默认index
复制查看到的shards名称在如下位置添加即可
在index中按所需查找
制作统计ip访问次数的图表
可以依图中步骤进行选择，可作的图表除了直方图还有饼图等，可以依图标进行自己选择，所操作方式一致。
同时除了ip的访问等，还可以统计其它field内容，比如http状态码
制作ip地图分布
此需要使用到geoip地图数据库，同时elk 5.x需要使用最新的地图数据信息，2.x中的数据库不适用于5.x
wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz
gunzip GeoLite2-City.mmdb.gz
geoip工作原理：通过对input的type进行filter，通过地图ip数据库，进行解析，同时将其解析得到的geoip信息添加到index中，以便后续进行统计。
解释一下在output中的index不以logstash-开头会出现在kibana中能看到geoip的相关信息，但是field显示为unknown的原因。
因为index格式为[nginx-access-]YYYY-MM的日志文件由logstash输出到Elasticsearch；在elasticsearch 中，所有的数据都有一个类型，什么样的类型，就可以在其上做一些对应类型的特殊操作。geo信息中的location字段是经纬度，我们需要使用经纬度来定位地理位置；在 elasticsearch 中，对于经纬度来说，要想使用 elasticsearch 提供的地理位置查询相关的功能，就需要构造一个结构，并且将其类型属性设置为geo_point，此错误明显是由于我们的geo的location字段类型不是geo_point。
我们可以查看elasticsearch中对logstash的预设模板信息
[root@iZ258xanrejZ logstash]# curl -umarility http://localhost:9200/_template/logstash?pretty
Enter host password for user 'marility':
{
"logstash" : {
"order" : 0,
"version" : 50001,
"template" : "logstash-*",
"settings" : {
"index" : {
"refresh_interval" : "5s"
}
},
"mappings" : {
"_default_" : {
"dynamic_templates" : [
{
"message_field" : {
"path_match" : "message",
"mapping" : {
"norms" : false,
"type" : "text"
},
"match_mapping_type" : "string"
}
},
{
"string_fields" : {
"mapping" : {
"norms" : false,
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword"
}
}
},
"match_mapping_type" : "string",
"match" : "*"
}
}
],
"_all" : {
"norms" : false,
"enabled" : true
},
"properties" : {
"@timestamp" : {
"include_in_all" : false,
"type" : "date"
},
"geoip" : {
"dynamic" : true,
"properties" : {
"ip" : {
"type" : "ip"
},
"latitude" : {
"type" : "half_float"
},
"location" : {
"type" : "geo_point"
},
"longitude" : {
"type" : "half_float"
}
}
},
"@version" : {
"include_in_all" : false,
"type" : "keyword"
}
}
}
},
"aliases" : { }
}
}
在其中我们可以看到预设中对location的type设定为geo_point类型。
但我们可以看到index格式为[nginx-access-]YYYY-MM时，其映射信息
使用curl -umarility http://localhost:9200/nginx-messages-2016.12.25/_mapping?pretty 来查看，(index名称因人而异)可以查到其中location的type类型实际上为double类型。而不是geoip类型，故在使用tile map的时候会出现找不到geoip字段的错误，虽然你可以在index中找到geoip等字段。
然后有人就很奇怪，为什么elasticsearch中对logstash的模块设定location类型是geoip，之前说过的可以在对应字段进行任性的修改等，但是为什么index格式为[nginx-access-]YYYY-MM时不按模块来进行字段类型的转化呢？这是因为字段修改在es中默认设定只对logstash-开头的格式index进行修改转化。所以我们如果要使用geoip，我们必须将index格式设定为logstash-*
geoip的地图显示
kibana > visualize > tile map
Geo Coordinates > Geohash >Field > geoip.location
x-pack插件的安装
x-pack的相当于是对2.x版本中使用较多的head、bigdesk、watcher、sheild等插件的一次整体封装，主要提供对elk nodes和cluster的状态监控和安全防护等。
x-pack的安装
elasticsearch和kibana均需要安装
安装命令
/usr/share/elasticsearch/bin/elasticsearch-plugin install x-pack
/usr/share/kibana/bin/kibana-plugin install x-pack
插件安装后需要对elasticsearch和kibana重启。
x-pack安装完之后，再次登陆kibana web页面或者使用curl命令查看elasticsearch信息时需要验证，其中curl 命令使用验证可以查看之前的截图
初始账户:elastic
初始密码:changeme
x-pack用户验证的添加与修改
对x-pack用户和角色操作可以通过role api或者直接在kibana的web页面进行操作
以下为api的添加role和user
对应代码:
curl -XPOST -u elastic 'localhost:9200/_xpack/security/role/chunlanyy--role' -d '{
"indices" : [
{
"names" : [ "all" ],
"privileges" : [ "all" ]
},
{
"names" : [ "all" ],
"privileges" : [ "manage", "read", "index" ]
}
]
}'
对应代码:
curl -XPOST -u elastic 'localhost:9200/_xpack/security/user/chunlanyy-user' -d '{
"password" : "marility",
"full_name" : "marilty",
"email" : "chunlanyy@gmail",
"roles" : [ "all" ]
}'
通过web页面，可以查看到user和role的生成，
修改chunlanyy-user用户的密码：
curl -XPUT -u elastic 'localhost:9200/_xpack/security/user/chunlanyy-user/_password' -d '{
"password" : "123456"
}'
这些均为通过api进行操作，当然也可以直接在kibana的web页面进行操作，如上截图，可在Management中进行点击添加以及修改
加入了x-pack的验证功能时，在logstash的配置中，output中务必要添加对应的用户和密码，否则会出现无法传递日志信息给elasticsearchr的错误,相关添加方法可以翻阅之前的logstash配置
