随笔分类 - Logstash
摘要：很多人刚刚接触ELK都不知道如何使用它们来做分析，经常会碰到下面的问题： 安装完ELK不知从哪下手 拿到数据样本不知道怎么分解数据 导入到elasticsearch中奇怪为什么搜不出来 搜到结果后，不知道它还能干什么 本篇就以一个完整的流程介绍下，数据从 的全流程处理。在阅读本篇之前，需要先安装EL
阅读全文
摘要：ELK升级后，安装稍微发生了点变化，在Elasticsearch中增加了很多资源上的限制，其他的倒是没什么变化。不过所有的安装都是基于JDK已经安装完的情况，且为1.8版本。 安装Elasticsearch 在官网下载elsaticsearch安装包： "下载地址" 下载对应版本拷贝到服务器，然后执
阅读全文
摘要：基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中，消费者从brok
阅读全文
摘要：Beats是elastic公司的一款轻量级数据采集产品，它包含了几个子产品： packetbeat(用于监控网络流量)、 filebeat(用于监听日志数据，可以替代logstash input file)、 topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)、 winlogbeat(用于
阅读全文
摘要：今天跟 聊天，询问起Logstash的性能，金桥提示说Logstash中json的序列化是浪费性能的一方面。于是便有了下面的测试: 第一步，造数据 首先需要造一份数据，数据可以通过logstash的generator来造。 生成的数据格式如下: 第二步，编写测试脚本 测试的思路是，从test.log
阅读全文
摘要：使用过Logstash的朋友都知道，它强大的插件生态几乎覆盖了所有的开源框架。从基本的http、tcp、udp、file，到强大的kafa、redis、ganglia，还有丰富的解析工具，比如date、json、grok、kv等等，有了它再也不用担心数据不好搜集了！ 不过需求是无限的，如果这些框架都
阅读全文
摘要：插件介绍 Http插件是2.0版本才出现的新插件，1.x是没有这个插件的。这个插件可以帮助logstash接收其他主机或者本机发送的http报文。 插件的原理很简单，它自己启动了一个ruby的服务器，用于接收Http请求。然后会把host（IP地址）和header相关的信息添加到event中。 下面
阅读全文
摘要：2.6版本之后支持嵌入Lua脚本，客户端使用Lua脚本，直接在服务器端原子的执行多条命令 Lua脚本执行过程
创建并修改Lua环境 1 创建基础Lua环境 2 载入函数库 3 创建全局表格Lua 4 替换随机函数 5 创建排序辅助函数 6 创建redis.pcall函数 7 ...
阅读全文
摘要：资源链接
[Jedis的jar包] [1] [Commons io的jar包] [2] [1]: http://pan.baidu.com/s/1pJ8CJur "Jedis"
[2]: http://pan.baidu.com/s/1jGk00ya "commons io" 使用方法
...
阅读全文
摘要：发布订阅中使用到的命令就只有三个：PUBLISH,SUBSCRIBE,PSUBSCRIBE PUBLISH 用于发布消息 SUBSCRIBE 也叫频道订阅，用于订阅某一特定的频道 PSUBSCRIBE 也叫模式订阅，用于订阅某一组频道，使用glob的方式，比如xxx 可以匹配xxx a，和xx...
阅读全文
摘要：redis插件的完整配置 工作流程 图不够专业，但是大致就如上图所示： logstash启动redis插件 redis插件获取参数，进行校验工作 判断监听模式(list,channel,pattern_channel等)，根据不同的监听模式创建监听任务 创建redis实例，绑定EVAL脚本；通过指定
阅读全文
摘要：Redis插件参数配置详解 最小化配置 <pre <code input { redis { data_type = "list" logstash redis插件工作方式 key = "logstash test list" 监听的键值 host = "127.0.0.1" redis地址 po...
阅读全文
摘要：1 什么是Redis
Redis（REmote DIctionary Server，远程数据字典服务器）是开源的内存数据库，常用作缓存或者消息队列。 Redis的特点： Redis存在于内存，使用硬盘作为持久化；每秒十万读写。 具有丰富的数据结构，字符串、哈希表、列表、集合、有序集合；提...
阅读全文
摘要：Log4j插件可以通过log4j.jar获取Java日志，搭配Log4j的SocketAppender和SocketHubAppender使用，常用于简单的集群日志汇总。最小化的配置input { log4j { host=>"localhost" port=>45...
阅读全文
摘要：前篇介绍过Logstash的使用，本篇继续深入，介绍下最常用的input插件——file。 这个插件可以从指定的目录或者文件读取内容，输入到管道处理，也算是logstash的核心插件了，大多数的使用场景都会用到这个插件，因此这里详细讲述下各个参数的含义与使用。最小化的配置文件 在Logsta...
阅读全文
摘要：Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。 本文针对官方文档进行翻译以及实践，希望有更多的有用户了解、使用这款工具。下载、安装、使用 这款工具是开箱即用的软件，下载地址戳这里，下...
阅读全文