简单搭建ELK日志分析平台及常见问题汇总
背景：
搭建实时日志分析平台，使用开源框架ELK（elasticsearch + logstash + kibana），官网地址：https://www.elastic.co/cn/
版本：
elasticsearch：6.2.3
logstash：6.2.3
kibana：6.2.3
一、Elasticsearch
0、介绍：Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎；集中存储数据，以供分析数据。另外：5.x以上版本，jdk版本需要1.8及以上，所以需要考虑兼容项目的jdk7版本，具体处理方法在问题汇总处
1、配置文件
位置：../elk/elasticsearch-6.2.3/config/elasticsearch.yml
修改点：cluster 集群 network.name 主机地址 node 节点。。。
2、启动时，root运行Elasticsearch异常。
方法一：在启动脚本中添加环境变量 ES_JAVA_OPTS='-Des.insecure.allow.root=true' （5.x版本后已不支持）
方法二： 新建用户
groupadd elsearch #新建elsearch组
useradd elsearch -g elsearch -p elasticsearch #新建一个elsearch用户
chown -R elsearch:elsearch elasticsearch-6.2.3 #指定elasticsearch所属elsearch组
3、安装head插件（在新版本就不支持下面这样操作了，得新启服务运行head）
下载地址：https://github.com/mobz/elasticsearch-head，在../plugin/解压后重命名为head文件夹即可。
访问地址：localhost:9200/_plugin/head/
4、后台启动elasticsearch
./bin/elasticsearch -d 后台启动，启动日志在 ../logs/clusterName.log
二、Logstash
0、介绍：logstash 是开源的服务器端数据处理管道，可以从多个来源采集数据、转换数据，然后把数据发送到"存储库"（elasticsearch）
1、配置文件
位置：../elk/logstash-6.2.3/config/{自定义文件名}.log (以logstash.log为例)
官网给出配置内容：
input { stdin { } }
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
具体参数意义及扩展参数，可以看官方文档：https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html
我这里的配置，不过多赘述：
input {
file {
type => "log"
path => "/logs/*.log"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => "127.0.0.1"
index => "log-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug }
}
2、启动
与elasticsearch不同，可用root启动，并且启动时读取指定配置文件。
../bin/logstash -f ../config/logstash.log
后台启动方式：nohup ./logstash -f ../config/logstash.log > ../logs/out.file 2>&1 &
三、Kibana
0、介绍：可视化 Elasticsearch 中的数据并操作 Elastic Stack
1、配置文件：
位置：../elk/kibana/config/kibana.yml
内容：server.host：kibana运行的ip和端口
elasticsearch.url：elasticsearch部署地址
2、启动
nohup ./kibana > ../logs/out.file 2>&1 &
也可以把上述启动语句用shell执行。
四、问题汇总
1、Elasticsearch和Logstash都需要jdk支持，且高于5.x版本需要jdk8。
工作中项目大多数运行环境为jdk7，所有想要同时运行ELK组件，需要支持双版本jdk。
简单讲，就是修改启动shell中的JAVA_HOME相关参数，
以Elasticsearch为例： elasticsearch中加载elasticsearch-env，其中将以下代码中${JAVA_HOME}替换为实际jdk8（/usr/java/jdk1.8.0_161/）即可。
# now set the path to java
if [ -x "${JAVA_HOME}/bin/java" ]; then
JAVA="${JAVA_HOME}/bin/java"
else
set +e
JAVA=`which java`
set -e
fi
另，Logstash中修改启动文件logstash的 ${JAVACMD}和${JAVA_OPTS}对应值，很简单，看下shell就知道咋改！
2、启动报WARN：“max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]”
在/etc/sysctl.conf 末尾添加 vm.max_map_count=655300，保存并执行 sysctl -p 。重启elasticsearch即可。
3、continue
