ELK日志分析系统（原创）
一、简介
ELK由Elasticsearch、Logstash和Kibana三部分组件组成；
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用
kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
二、工作流程
在需要收集日志的服务器（本文用nginx服务器，地址为192.168.5.148）上部署logstash，用于监控并过滤收集日志，将过滤后的内容按照特定的格式收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。
三、ELK帮助手册
ELK官网：https://www.elastic.co/
ELK官网文档：https://www.elastic.co/guide/index.html
ELK中文手册：http://kibana.logstash.es/content/elasticsearch/monitor/logging.html
视频教程：http://edu.51cto.com/index.php?do=lession&id=101607
四、安装平台以及软件
运行平台：Ubuntu 14.04 32位系统
软件：Logstash-5.1.2、Elasticsearch-5.1.2、kibana-5.1.2
软件安装命令： 在下载的三个组件，解压后，在各自的目录下的bin目录中，运行各自的执行文件即可。
注意： Logstash的运行方式为：./bin/logstash -f ./脚本配置文件
elasticsearch要在普通用户下运行，在root下运行系统会报错。如果在普通用户下提示运行权限问题，只要设置下可执行权限即可。命令：chown 普通用户名.普通用户名 elasticsearch文件夹名 -R
五、具体流程
1、首先运行nginx，确保nginx服务能够正常运行，如果不能，开启nginx即可 (etc/init.d/nginx start)。输入服务器ip地址，如果出现欢迎界面，即表示nginx服务器正常运行。
2、改变nginx日志保存格式，便于后面Logstash分析、过滤从而以特定的格式输出。
打开/etc/nginx/nginx.conf，在http段中插入如下内容把nginx日志格式保存为特定格式
log_format logstash_json '{"@timestamp":"$time_iso8601",'
'"client_ip":"$remote_addr",'
'"remote_user":"$remote_user",'
'"body_bytes_sent":"$body_bytes_sent",'
'"request_time":"$request_time",'
'"status":"$status",'
'"request":"$request",'
'"request_method":"$request_method",'
'"http_referrer":"$http_referer",'
'"body_bytes_sent":"$body_bytes_sent",'
'"http_x_forwarded_for":"$http_x_forwarded_for",'
'"http_user_agent":"$http_user_agent"}';
access_log /var/log/nginx/access.log logstash_json;
3、在logstash 目录下新建一个目录，用来存放logstash执行的脚本。脚本示例如下：
input {
file {
path => ["/var/log/nginx/access.log"]
start_position => "beginning"
type => "nginx"
codec => "json"
}
}
output {
stdout { codec => rubydebug{} }
elasticsearch {
hosts => ["192.168.5.148:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}
。
如上脚本可以把nginx日志按照json格式输出，并存储到elasticsearch，然后传给kibana显示分析。
logstash过滤nginx日志按照json格式输出原理：客户端访问nginx服务器，nginx服务器会自动产生访问日志保存到nginx服务器的access.log中，当我们给nginx服务器的日志设置了json格式后，logstash的file{}插件才能够识别nginx日志并按照json格式切割（解析）输出。
4、运行顺序：
nginx——>elasticsearch——>logstash——>kibana
运行成功的标志是elk三个组建均会阻塞。
然后刷新一下192.168.5.148这个地址，也即访问nginx服务器，即可产生数据.
5、kibana使用
在浏览器（用火狐或者google chrome，不要用360浏览器）地址栏输入 服务器地址：5601，即可访问Kibana主页。
如果以上步骤都没问题，kibana就会接受到elasticsearch传给它的数据并显示出来，如下图,如果没有数据产生，那么就会提示”no result”。
接下来,点击左侧”visualize”模块,选择“create new visualization”，选择一个视图显示数据分析图标。以饼图为例。选择“pipe chart”，进入饼图界面，在”buckets”下面选择过滤条件。
其中aggregation，下拉选择“Terms”,field，下拉选择“client_ip”,点击“apply changes”按钮，即可按照过滤规则生成饼状图。
其他分析图表（柱状图、曲线图）都有类似的设置。
6、kibana tile map地图定位功能。
1、所具备的工具：logstash的filter.geoip{}插件、GeoLite2-City.mmdb城市ip数据库。
2、修改第五步中第3点logstash的执行脚本，增加filter.geoip()插件。
示例如下：（相关附件也已同步）
input {
file {
path => ["/var/log/nginx/access.log"]
start_position => "beginning"
type => "nginx"
codec => "json"
}
}
filter {
geoip {
source => “client_ip” ------”client_ip”为日志中的ip地址字段名
database => “GeoLite2-City.mmdb的绝对路径”
target => “geoip”
add_field => [ “[geoip][coordinates]”, “%[geoip][longitude]” ]
add_field => [ “[geoip][coordinates]”,”%[geoip][latitude]” ]
}
mutate [
convert => [ “[geoip][coordinates]”,”float” ]
}
}
output {
stdout { codec => rubydebug{} }
elasticsearch {
hosts => ["192.168.5.148:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}
3、由于GeoLite2-City.mmdb只存有外网ip的地址，因此用内网Ip测试geoip无法解析，会造成失败。因此，可以在nginx日志中手动添加外网Ip地址，只有外网ip地址geoip才能解析成功。
4、重新启动kibana，在visualize模块中选择tile map,进入tile map界面，然后Aggregation选择Geohash，Field选择geoip.location，点击Apply changes即可在右边的地图界面，亮点标示ip地址对应的城市。
5、geoip解析日志中的ip地址并定位城市的原理：GeoLite2-City.mmdb是一个大型的ip数据库，内含ip地址及其对应的城市名。geoip插件会根据json解析出来的日志中的ip地址，去GeoLite2-City.mmdb中寻找对应的ip地址，然后把ip地址对应的一系列包括城市名、国家等等信息给解析出来，然后一并发给elasticsearch，最后通过kibana的地图功能进行定位并显示。
这是作者在工作中的实践总结，原创，转载需注明出处。
