随笔分类 - 20.ELK日志收集
摘要：#test {"time":1504752032399,"date":"2017-09-08 12:00:00","str":"ddse\r\n} input { stdin { codec => json } } filter { mutate { add_field => { "field1"
阅读全文
摘要：一、范围（>500） 二、不等于 三、字符匹配 正则表达式： +url:/.*m\.qfang\.com\/shenzhen\/rent\/[0-9]+/ +appName: qfang-online-wap 模糊匹配： +appName: qfang-online-w* 加了引号就表示精确查询，无
阅读全文
摘要：安装详情参见：http://mojijs.com/2017/03/222639/index.html http://www.jianshu.com/p/8516e51e105d
阅读全文
摘要：Elasticsearch是一个分布式，实时，全文搜索引擎。所有操作都是通过RESTful接口实现，其底层实现是基于Lucene全文搜索引擎。数据以JSON文档的格式存储索引，不需要预先规定范式。 和传统数据库的术语对比一下，也许能够帮助我们对Elasticsearch有一个更感性的认识。 所有的操
阅读全文
摘要：ELK平台搭建完成后，由于Kibana的服务也是暴露在外网，且默认是没有访问限制的（外部所有人都可以访问到），这明显不是我们想要的，所以我们需要利用Nginx接管所有Kibana请求，通过Nginx配置将Kibana的访问加上权限控制，简单常见的方式可以使用如下三种方式： 方案一：利用Nginx用户
阅读全文
摘要：Flume与Logstash相比，个人的体会如下： Logstash比较偏重于字段的预处理；而Flume偏重数据的传输； Logstash有几十个插件，配置灵活；FLume则是强调用户的自定义开发（source和sink的种类也有一二十个吧，channel就比较少了）。 Logstash的input
阅读全文
摘要：一、Kafka ->logstash ->elasticsearch logstash 5.X以上版本不兼容5.x以下版本，因此在升级logstash时会遇到很多坑。首先是配置的变化，可以参考如下配置： 完成配置后可以通过如下命令来检测配置文件是否有语法错误： 另外，elasticsearch 5.
阅读全文
摘要：elasticsearch rest api遵循的格式为： 1、检查es版本信息 2、查看集群是否健康 3、查看节点列表 4、列出所有索引及存储大小 5、创建索引 6、添加一个类型 7、更新一个类型 8、删除指定索引 9、elasticsearch定期删除策略 http://www.jianshu.
阅读全文
摘要：之前在配置从logstash写数据到elasticsearch时，指定单个数据模板没有问题，但是在配置多个数据模板时候，总是不成功，后来找了很多资料，终于找到解决办法，就是要多加一个配置项： template_name ，切该名字必须全部为小写。 参考配置信息： 模板的配置请参见：http://qi
阅读全文
摘要：最近在做集中式日志，将应用的日志保存到Elasticsearch中，结合kibana实现集中化日志监控和报警。在设计ES存储的时候。考虑到日志的特殊性，打算采用Daily Indices方式。名称为：log-${application}-YYYY.MM.DD。每天会自动创建一个新的索引，类似于log
阅读全文
摘要：最近需要搭建一套日志监控平台，结合系统本身的特性总结一句话也就是：需要将Kafka中的数据导入到elasticsearch中。那么如何将Kafka中的数据导入到elasticsearch中去呢，总结起来大概有如下几种方式： Kafka->logstash->elasticsearch->kibana
阅读全文
摘要：在elasticsearch中存储数据的行为就叫做索引(indexing)，不过在索引之前，我们需要明确数据应该存储在哪里。 在elasticsearch中，文档归属于一种类型(type)，而这些类型存在于索引(index)中，我们可以画一些简单的对比图来类比传统的关系型数据库。 relation
阅读全文
摘要：最近由于项目需要上线一个日志采集、展示的功能，借此机会梳理了一下日志采集的大体框架。一般日志采集的总体框架如下： 大体流程为：统一日志系统负责收集所有系统日志和业务日志，转化为流式数据，通过flume或logstash上传到日志中心(kafka集群)，然后供Track、Storm、Spark及其它系
阅读全文
摘要：本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong
阅读全文
