05 2018 档案
摘要：摘要 我们用Logsatsh写配置文件的时候，如果读取的文件太多，匹配的正则过多，会使配置文件动辄成百上千行代码，可能会造成阅读和修改困难。这时候，我们可以将配置文件的输入、过滤、输出分别放在不同的配置文件里，甚至把输入、过滤、输出再次分离，放在不同的文件里。 这时候，后期再需要增删改查内容的时候，
阅读全文
摘要：摘要 这一节补充一下logstash使用grok正则解析日志 Grok 是 Logstash 最重要的插件。通过在filter中使用grok，可以把日志中的关键字匹配出来。 grok正则主要有两部分： 一是grok自带的grok模式表达式，即是grok预定义好的一些表达式，可以匹配一些常见的字符串，
阅读全文
摘要：摘要 这一节，主要介绍一下在kibana界面查询数据的语法。 字符串查询 //例: 直接输入字字符串，就会出现当前索引下含有该字符串的记录 短语查询 如果是不含空格的词语，直接输入就可以，如果含有空格，就需要用双引号，如：“Hello World” 可以搜索Hello World短语，不用双引号会分
阅读全文
摘要：摘要 这一节，我们介绍一下kibana界面的标签和设置。kibana的界面菜单栏主要有六项，这里我主要介绍其中一些我用过的。 1、Discover功能 —— 查看当前索引下的所有数据、搜索过滤数据 Discover 标签页用于交互式探索你的数据。你可以访问到匹配得上你选择的索引模 式的每个索引的每条
阅读全文
摘要：摘要： 现在我们已经将logstash和elasticsearch都集成起来了，在上一节的基础上，详见搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统（十） elasticsearch集群部署，我们直接加上kibana就可以出效果了。 首先我们先根据上一节，部署好
阅读全文
摘要：摘要： 这一节我们介绍elasticsearch集群的配置 搭建环境： vmware 12.X + ubuntu 16.04两台 + elasticsearch 5.5.1 + logstash 5.5.1 1、首先，我们修改elasticsearch文件夹下/config下的elasticsear
阅读全文
摘要：只要 在前面做了几个demo之后，我们现在才来介绍一下elasticsearch，以及elasticsearch集群。然后下一节我们就开始部署elasticsearch集群。 1、elasticsearch介绍 简单的说，elasticsearch就是一个分布式数据库和搜索引擎。 百度百科的解释 E
阅读全文
摘要：摘要： elasticsearch这个东西，相当的吃内存。像前面一样使用默认设置，正常得一笔，但是只要修改了elasticsearch.yml里面的内容，就可能错误不断了。所以，这里有一个过来人告诉你，真的需要耐心……哈哈，还是自己太弱了，刚入门走了不少弯路。 我们先配置elasticsearch的
阅读全文
摘要：摘要： 上一节做了个简单的elasticsearch demo，不过elasticsearch 真正用起来可没那么简单，所以这一节我们先介绍一下elasticsearch 的配置文件。 在下一节，我将介绍elasticsearch 怎么配置外网访问（即在其他电脑或者系统上访问服务器中的elastic
阅读全文
摘要：环境准备： centos7 + logstash 5.5.1 + elasticsearch 5.5.1 点击下载elasticsearch 点击下载logstash 这一节开始介绍elasticsearch，还是先做个demo让大家感受一下： 1、在centos服务器下将下载好的logstash和
阅读全文
摘要：摘要：在实际生产中，在每台应用服务器运行logstash进程并将数据直接发送到Elasticsearch里，显然是不科学的，原因： Elasticsearch非常占用内存，不可能部署很多，而过多的客户端连接对Elasticsearch是一种额外的压力； 运维人员未必愿意在每台生产服务器上部署 JDK
阅读全文
摘要：这一节来介绍codec插件和filter插件，然后关于logstash的常见配置就介绍完毕了。下一节介绍通过redis扩展logsatsh。 1、logsatsh codec （编码插件）插件 Codec 来自 Coder/decoder 两个单词的首字母缩写，Logstash 不只是一个input
阅读全文
摘要：前面两节已经介绍了Logstash以及常见的配置语法，这一节介绍一下input、output的配置，然后做个file输入输出的demo。这里我介绍的都是比较常见的插件，其他插件用法类似。 1、input配置 1）读取文件（file） Logstash 使用一个名叫 FileWatch 的 Ruby
阅读全文
摘要：Logstash通常被分为shipper和indexer两种角色，其中shipper负责收集转发日志至redis，而indexer负责将redis传送过来的日志输出到elasticSearch，如下图（图片来自网络，如有侵权，可联系我删除） 1、数据定义与类型 1）Logstash用 {} 来定义区
阅读全文
摘要：关于ELK的介绍在这里就不多说了，网上一大堆，直接上干货，先把Logstash跑起来！ 运行环境—— Vmware 12 + Centos7 + Logstash5.5.1 一）运行Logstash 1、首先在官网下载Logstash，这里我选择的是5.5.1版本，点击下载Logstash，如果是在
阅读全文
摘要：#!/bin/bash #author junxi by #this script is only for CentOS 7.x #check the OS platform=`uname -i` if [ $platform != "x86_64" ];then echo "this script
阅读全文
