随笔分类 - 【ELK 日志】
实时日志分析平台
Elasticsearch , Logstash, Kibana
摘要：一、安装 安装条件 1、点击kibana官网下载 【kibana的版本和elasticsearch的版本和必须一致】 2、修改配置（可以省略） 打开config路径下文件kibana.yml 。设置elasticsearch.url为启动的elasticsearch（http://localhost
阅读全文
摘要：一、ElasticSearch+FileBeat+Kibana搭建平台 在C# 里面运行程序，输出日志（xxx.log 文本文件）到FileBeat配置的路径下面。 平台搭建，参考之前的随笔。 FileBeat配置如下： ###################### Filebeat Configu
阅读全文
摘要：一、Windows下安装运行 官网下载，下载与elasticSearch同一个版本，zip格式。Logstash占用内存较大，我在使用的时候cpu一般都是冲到90% 1、CMD直接运行 创建一个基本的Logstash管道来测试Logstash设置。 解压logstash ，并且在bin目录下运行命令
阅读全文
摘要：一、windows下安装Filebeat 官网下载安装包 解压到指定目录，打开解压后的目录，打开filebeat.yml进行配置。 1、配置为输出到ElasticSearch ①：配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径 。。eg：在当前目录下建一个
阅读全文
摘要：一、ElasticSearch的.net客户端驱动程序 ElasticSearch官方网站提供了两个.net客户端驱动程序，其中Elasticsearch.Net是一个非常底层且灵活的客户端驱动程序，用户需要手动创建请求（Request）和响应（Response）；而NEST是一个高层的客户端，其内
阅读全文
摘要：样例数据 为了更好的使用和理解ES，没有点样例数据还是不好模拟的。这里提供了一份官网上的数据，accounts.json。如果需要的话，也可以去这个网址玩玩，它可以帮助你自定义写随机的JSON数据。 1、导入数据 打开你的postman，输入对应的REST API，http://127.0.0.1:
阅读全文
摘要：利用Elasticsearch-head可以在界面上（http://127.0.0.1:9100/）对索引进行增删改查 1、RESTful接口使用方法 为了方便直观我们使用Head插件提供的接口进行演示，实际上内部调用的RESTful接口。 RESTful接口URL的格式：http://localh
阅读全文
摘要：布尔查询 布尔查询是最常用的组合查询，不仅将多个查询条件组合在一起，并且将查询的结果和结果的评分组合在一起。当查询条件是多个表达式的组合时，布尔查询非常有用，实际上，布尔查询把多个子查询组合（combine）成一个布尔表达式，所有子查询之间的逻辑关系是与（and）；只有当一个文档满足布尔查询中的所有
阅读全文
摘要：elasticsearch-head安装和介绍已在上一篇讲了。 在浏览器访问http://localhost:9100，可看到如下界面，表示启动成功： 仔细观察，我们会发现客户端默认连接的是我们elasticsearch的默认路径。而此时elasticsearch服务未启动，所以集群健康值是未连接
阅读全文
摘要：一、Elasticsearch介绍和安装 1.1 介绍 Elastic Elastic官网：https://www.elastic.co/cn/ Elastic有一条完整的产品线：Elasticsearch、Kibana、Logstash等，前面说的三个就是大家常说的ELK技术栈。 Elastics
阅读全文
摘要：大型网站遇到性能瓶颈或发生故障时，分析日志往往是发现问题根源最有效的手段。 传统的日志分析手段不外乎以下几类: 1. 运维人员用脚本grep，分析再汇总2. 通过流式计算引擎,storm/spark实时产生汇总 数据，供监控分析3. 将数据堆放到HDFS，之后通过map/reduce定期做批量分析
阅读全文
