微服务-分布式日志系统Logstash部署

 

 

 

参考资料：

1 、 Logstash中文官网

2、 阿里云Elasticsearch> 最佳实践 > logstash部署

3、 logstash、elasticsearch、kibana搭建日志平台（CSDN）

4、ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 （CSDN）

 

4、 elasticsearch5.x安装中一些问题的解决办法

5、 centos7虚拟机安装elasticsearch5.0.x-安装篇

 

一 ELK平台简介

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

官方网站：https://www.elastic.co/products

• Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

• Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

• Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

 

二、 elasticsearch启动过程中遇到的问题：

1、 直接bin文件夹下执行elasticsearch命令启动时，提示不能用root用户启动（don't run elasticsearch as root），原因.root超级用户不能正常启动

  由于elasticsearch2.0版本以后不能使用root来启动，所以需要创建一个普通用户来启动。

  [root@localhost ~]# useradd XXX（自定义用户名称）
  [root@localhost ~]# passwd XXX

　　添加完以后还是不行，具体步骤参考如下：

 

2、 解决上述问题后，又出现以下两个问题

问题[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

修改 vim /etc/security/limits.conf 文件（注意要切换到root用户修改，在切换为非root用户查看）

增加如下字段（主要是hard nofile字段要修改到至少65536）：

 

 

问题[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决：切换到root用户修改配置sysctl.conf vi /etc/sysctl.conf

添加下面配置： vm.max_map_count=655360

并执行命令： sysctl -p 然后，重新启动elasticsearch，即可启动成功。

 

启动成功后：

 

 三、 kibana整合elasticsearch配置

启动前修改以下参数即可：

 

 

 登录Kibana页面：端口号为配置文件中端口号，默认是5601，此处修改为5602了