elk的安装部署
Elk日志安装文档
需要用到有三个软件包 和redis
分布式部署：已上图就是分布式部署的架构图
Logstash ： 是部署在前台的应用上，收集数据的
和部署在redis和elasticsearch中间充当索引
Elasticsearch： 部署在logstash之后的，将logsstash收集的数据存储
Kibana ： 部署在最后，经elasticsearch收集的数据通过页面展现出来（默认端口号：5601）
我这里部署的logstash elasticsearch kibana 在一台服务器上，但是应用的服务器还是要不是logstash的
开始部署：
Server端：（logstash clasticsearch kibana的部署）需要jdk环境
将软件包上传的要安装的目录，我安装目录是/picclife (注：要用普通用户暗转，不然不安全)
我有的是app_admin用户
安装jdk环境我安装在/picclife
编辑app_admin 用户的jdk变量
vim /home/app_admin/.bash_protfile
PATH=/picclife/jdk1.8.0_65/bin/:$PATH:$HOME/bin
export PATH
export JAVA_HOME=/picclife/jdk1.8.0_65/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
申明变量：source /home/app_admin/.bash_protfile
查看java -version
安装logstash：
tar -zxf logstash-5.3.0.tar.gz
在/picclife/logstash-5.3.0/config 创建一个logstash.conf .conf结尾的文件
编辑vim logsstach.conf
input{
redis{
batch_count => 1
data_type => "list"
key => "logstash-uap-list" #logstach应用的服务器上一样就可以
host => "10.135.100.86" #redis的ip
port => 6379 #redis的端口好
password => "nick123" #redis的密码
db => 2 #redis的索引（可以在redis上查看一下如没人用就可以最下面有截图）
threads => 1
}
}
output{
elasticsearch{
hosts => ["10.135.33.129"] #elasticsearch的ip
index => "uap-log"
}
stdout{
codec => rubydebug{}
}
}
编辑启动脚本在/picclife/logstach-5.3.0
vim logstash_start.sh
nohup /picclife/logstash-5.3.0/bin/logstash -f /picclife/logstash-5.3.0/config/logstash.conf >> /picclife/logstash-5.3.0/logs/logstash-start.log 2>&1 & #nohup后台运行 将启动的程序追加到logstash-start.log文件里 可以到这个文件查看启动报不报错
在/picclife/logstach-5.3.0创建logs目录
mkdir logs
执行脚本启动
sh logstash_start.sh
关闭是： ps -ef |grep logstash kill 查到的进程
安装elasticsearch
tar -zxf elasticsearch-5.3.0.tar.gz
编辑启动脚本在/picclife/elasticsearch-5.3.0
vim elasticesarch_start.sh
nohup /picclife/elasticsearch-5.3.0/bin/elasticsearch >> /picclife/elasticsearch-5.3.0/logs/elasticsearch-start.log 2>&1 &
在/picclife/elasticsearch-5.3.0 下创建logs目录
mkdir logs
启动 sh elasticseart_start.sh
关闭 ps -ef｜grep elasticseart kill 查到的进程
安装 kibana
tar -zxf kibana-5.3.0-linux-x86_64.tar.gz
在/picclife/kibana-5.3.0/config 编辑
vi kibana.yml 指向elasticsearch的ip
在/picclife/kibana-5.3.0/创建启动脚本
vi kibana_start.sh
nohup /picclife/kibana-5.3.0/bin/kibana >> /picclife/kibana5.3.0/logs/kibana-start.log 2>&1 &
在kibana-5.3.0创建logs目录
mkdir logs
启动是 sh kebana_start.sh
关闭是ps -ef｜grep node kill 查到的进程 （kibana是不需要jdk环境的）
Redis 查看一显现是可以
服务器基本安装完成开始安装客户端：（jdk环境）
解压：
tar -zxf logstash-5.3.0.tar
在/picclife/logstash-5.3.0/config创建logstash.conf 的文件
Vim logstash.conf
input{
file{
path => ["/picclife/apache-tomcat-8.0.30/logs/catalina.out"] #监听的日志
type => "uap-log-all"
start_position => "beginning"
}
}
filter{
grok {
patterns_dir => "/picclife/logstash-5.3.0/config/patternsutils" #需要创建这个文件有日志格式的这则
match => {
"message" =>
[
"%{TIMESTAMP_ISO8601:RequestTime}%{SPACE}%{MATCHSTR:RequestName}%{SPACE}>>>%{SPACE}%{USERNAME:RequestId}%{SPACE}>>>%{SPACE}%{ROUTEID:RdID}%{SPACE}<<<%{SPACE}SystemNo:%{ZW:SystemNo}\,%{SPACE}InterfaceNo:%{ZW:InterfaceNo}\,%{SPACE}InterfaceName:%{ZW:InterfaceName}\,%{SPACE}Flag:%{ZW:Flag}\,%{SPACE}CostTime:%{INT:CostTime}%{SPACE}%{ZW:other}"
] #日志格式
}
remove_field => [ "message","other"]
}
##过滤日志（过滤掉requestName！=camlelog的记录）
if [RequestName]!="camellog" and [RequestName]!="gatherlog"{
drop{}
}
date {
match => ["RequestTime", "MMM dd YYY HH:mm:ss", "MMM d YYY HH:mm:ss", "ISO8601"]
locale => "en"
#timezone => "+00:00"
remove_field => [ "RequestTime" ]
}
mutate {
convert => { "CostTime" => "integer" }
}
}
output{
redis{
data_type => "list"
key => "logstash-uap-list"
host => "10.135.100.86" #redis ip
port => 6379 #redis端口
password => "nick123" #redis的密码
db => 2 #redis的索引和上面的一样
}
stdout{
codec => rubydebug{}
}
}
在/picclife/logstash-5.3.0/config/下穿件patternsutils文件
Vim patternsutils
ZW (.*)
SPSTR (([\s\S]*))
###匹配{....}格式的字符串
DKH (\{.*\})
###匹配字母
MATCHSTR ([A-Za-z]*)
###java 时间格式 2017-05-26 08:01:03
JAVA_DATE %{DATE_EU} %{TIME}
###匹配XXX{....}、XXX[...]以及XX字符
DKHBODY ((.*\{.*\})|(.*\[.*\])|(.*))
###匹配(
LEFTBRACKET (\()
###匹配)
RIGHTBRACKET (\))
###匹配括号里的routeid
ROUTEID (.{5,9})
在/picclife/logstash-5.3.0 创建启动脚本
vim logstash_start.sh
nohup /picclife/logstash-5.3.0/bin/logstash -f /picclife/logstash-5.3.0/config/logstash.conf >> /picclife/logstash-5.3.0/logs/logstash-start.log 2>&1 &
在/picclife/logstash-5.3.0/创建logs
mkdir logs
关闭： ps -ef |grep logstash kill 查到的进程
到此elk的安装完成
有道云笔记的参考
http://note.youdao.com/noteshare?id=a6bce94ea32d5fce9a2b1705d6a272aa
