基于graylog、elasticsearch和mongodb搭建一套日志管理系统
一、graylog公司基建了解
1. es版本:2.3.1
graylog版本:2.4.2
mongodb版本:3.2.6
2. 机器:es一个机房用了12台物理机32核机械盘
二、elasticsearch 安装、部署
1.1 下载
进入要下载的版本的目录，选择.tar.gz文件下载，至当前时间graylog不支持最新6.x版本,所以下载5.x版本
下载到/home/admin/目录下
或者下载本地上传到服务器：
scp -r elasticsearch-5.6.8.tar.gz tdops@10.58.10.139:/home/tdops/graylog/elasticsearch
1.2 安装
在/home/admin/graylog 下新建elasticsearch主目录，并解压到当前目录
mkdir elasticsearch
mv elasticsearch-5.6.8.tar.gz elasticsearch/
cd elasticsearch
tar -zxvf elasticsearch-5.6.8.tar.gz
1.3 配置
在主目录下创建data和logs两个目录用于存储数据和日志：
mkdir data
mkdir logs
修改elasticsearch配置文件 elasticsearch-5.6.8/config/elasticsearch.yml
cluster.name: my-application #集群名字
node.name: node-1 #集群中每个节点名字，每个节点必须不同
path.data: /home/admin/graylog/elasticsearch/data #设置es数据存储地址
path.logs: /home/admin/graylog/elasticsearch/logs #设置es日志存储地址
network.host: 0.0.0.0 #开放es的访问ip限制
discovery.zen.ping.unicast.hosts: ["10.57.30.1","10.57.30.2"] #集群中各个节点的ip
discovery.zen.minimum_master_nodes: 2 #集群中最低健康节点数量
1.4 启动和停止
启动：./bin/elasticsearch -d(后台启动）
停止：ps -aux | grep elsaticsearch
或者 jps | grep Elasticsearch #找到pid
kill pid #根据pid 杀死进程
二、mongodb 安装、部署
2.1 下载
进入要下载的版本的目录，选择.tar.gz文件下载
下载到/home/admin/目录下
或本地上传：
scp -r mongodb-linux-x86_64-rhel70-3.6.5.tgz admin@10.58.12.1:/home/tdops/mongodb
2.2 安装
在/home/admin/graylog 下新建mongodb主目录，并解压到当前目录
mkdir mongodb
mv mongodb-linux-x86_64-rhel70-3.6.5.tgz mongodb/
cd mongodb
tar -zxvf mongodb-linux-x86_64-rhel70-3.6.5.tgz
2.3 配置
在主目录下创建data目录用于存储数据：
mkdir data
1.4 启动和停止
启动：nohup ./mongod --dbpath=/home/admin/graylog/mongodb/data >> mongodb.log 2>&1 &
停止：ps -aux | grep mongodb #找到pid
kill pid #根据pid 杀死进程
验证是否启动：
curl localhost:27017
示例
nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log 2>&1 &
nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log --bind_ip=0.0.0.0 2>&1 & ##开放api接口ip访问限制
三、graylog 安装、部署
3.1 下载
进入要下载的版本的目录，选择.tar.gz文件下载
下载到/home/admin/目录下
或本地上传：
scp -r graylog-2.4.5.tgz admin@10.58.12.1:/home/tdops/graylog
3.2 安装
在/home/admin/graylog/ 下新建graylog主目录，并解压到当前目录
mkdir graylog
mv graylog-2.4.5.tgz graylog/
cd graylog
tar -zxvf graylog-2.4.5.tgz
2.3 配置
在主目录下创建data目录用于存储数据：
graylog读取的配置文件路径为：/etc/graylog/server/server.conf，所以用root账户新建/etc/graylog文件夹，将该文件夹用户改为admin.
sudo chown -R tdops server
cd /etc/graylog/server
vim node-id
chmod 777 server.conf 修改可读写权限
cp /home/admin/graylog/graylog/graylog-2.4.5/graylog.conf.example /etc/graylog/server/server.conf
#修改server.conf配置：
password_secret = adminadminadminadmin #设置登陆密码
root_password_sha2 = b77f501a5e9697bd36fdc6581d4d1ad41a51855a7222f0b0ba17dac5ce0cbccf #算出密码的sha2:echo -n adminadminadminadmin | shasum -a 256
rest_listen_uri = http://0.0.0.0:9000/api/ #开放api接口ip访问限制
web_listen_uri = http://0.0.0.0:9000/ #开放web访问ip限制
# mongodb_uri = mongodb://10.58.2.41:27017/graylog #与es不同机器部署的mongodb，需指定mongodb的IP与端口号
mongodb_uri = mongodb://localhost/graylog #与es部署在同一台机器上的配置，默认
1.4 启动和停止
cd /home/admin/graylog/graylog/graylog-2.4.5/bin
启动： ./graylogctl start
vim ../log/graylog-server.log #查看日志
停止：./graylogctl stop
四、graylog接入及使用
1、各应用的本地化配置文件作如下添加或修改：
graylog.host=10.57.30.103
graylog.port=8099
公司使用的是80端口所以logback.xml略去了
2、logbak.xml中需做修改：
五、graylog-api接入
graylog.api.url=http://10.57.30.1:9000/api
user=admin
password=adminadminadminadmin
六、网页访问
http://10.57.30.1:9000/search
admin
adminadminadminadmin
七、配置收集器
第一步：配置system/inputs
第二步：选择GELF UDP——>lanch new input 弹出新建UDP的配置；
第三步：node选择当前节点，title 任意名称，port 端口号：12201，点击save；
例2：配置收集器geft-http 端口12205；测试日志是否收集成功：配置GELF HTTP采集log
在终端输入：curl -XPOST http://10.58.12.1:12205/gelf -p0 -d '{"short_message":"Hello there", "host":"example.org", "facility":"test", "_foo":"bar"}'
在搜索日志中搜索到即可表示成功。
