随笔分类 - log

Logstash之四：logstash接收kafka数据

摘要：3、kafka+logstash整合logstash1.5以后已经集成了对kafka的支持扩展，可以在conf配置中直接使用 vim /etc/logstash/conf.d/pay.conf input { kafka{ zk_connect => "your zookeeper address: 阅读全文

posted @ 2017-03-10 18:59 duanxz 阅读(2065) 评论(1) 推荐(0) 编辑

Logstash之四：配置说明

摘要：logstash配置文件包含三个配置部分: 分别为：input{}、filter{}、output{}。{} 定义区域，区域内可以定义一个或多个插件，通过插件对数据进行收集，加工处理，输出。在{}配置中可以使用表达式完成要采集数据的逻辑，表达式中的数据类型和运算符如下： 1、数据类型：布尔值类型阅读全文

posted @ 2017-03-09 19:51 duanxz 阅读(2682) 评论(0) 推荐(0) 编辑

Logstash之三：命令行中常用的命令

摘要：-f：通过这个命令可以指定Logstash的配置文件，根据配置文件配置logstash -e：后面跟着字符串，该字符串可以被当做logstash的配置（如果是“” 则默认使用stdin作为输入，stdout作为输出） -l：日志输出的地址（默认就是stdout直接在控制台中输出） -t：测试配置文件阅读全文

posted @ 2017-03-09 19:50 duanxz 阅读(1056) 评论(0) 推荐(0) 编辑

Logstash之二：原理

摘要：一、Logstash 介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。二、工作流程 Logstash 工作的三个阶段： input 数据输入端，可以接收来自任何地方的源数据。 file：从文件中读取 syslog：监听阅读全文

posted @ 2017-03-09 19:45 duanxz 阅读(2064) 评论(0) 推荐(1) 编辑

Logstash之一：入门介绍

摘要：简介 Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstas 阅读全文

posted @ 2017-03-09 15:16 duanxz 阅读(1327) 评论(0) 推荐(0) 编辑

spring boot下使用logback或log4j生成符合Logstash标准的JSON格式

摘要：一、依赖由于配置中使用了json格式的日志输出，所以需要引入如下依赖 1 二、配置说明 1.日志的输出路径 1 2.读取spring容器中的属性，这里是获取项目名称和运行的服务器IP 1 2 3.设置日志的格式 1 2 4.添加一个输出器，并滚动输出 1 5.指定输出的文件位置 1 6.指定滚动输阅读全文

posted @ 2017-03-06 10:50 duanxz 阅读(3359) 评论(0) 推荐(0) 编辑

Logstash，flume，sqoop比较

摘要：Logstash: 1.插件式组织方式，易于扩展和控制 2.数据源多样不仅限于日志文件，数据处理操作更丰富，可自定义（过滤，匹配过滤，转变，解析......） 3.可同时监控多个数据源（input插件多样），同时也可将处理过的数据同时有不同多种输出（如stdout到控制台，同时存入elasticse 阅读全文

posted @ 2013-12-09 14:23 duanxz 阅读(991) 评论(0) 推荐(0) 编辑

logback高级特性二异步记录日志

摘要：问题描述：下图中JProfiler可看出logback的日志输出占了64%的cpu消耗优化方案： 1. 这部分写日志的代码写了一些报文数据，确实是比较大的字符串。先禁掉控制台输出，生产环境也不需要控制台输出，写日志文件即可。配置中去掉控制台输出 <rootlevel="INFO"> <!--< 阅读全文

posted @ 2013-12-06 17:24 duanxz 阅读(3495) 评论(0) 推荐(0) 编辑

logback高级特性一

摘要：自定义Pattern模板创建自定义格式转换符有两步： 1.写一个转换器类，继承ClassicConvert package com.cj.log; import ch.qos.logback.classic.pattern.ClassicConverter; import ch.qos.logba 阅读全文

posted @ 2013-02-02 15:55 duanxz 阅读(1196) 评论(0) 推荐(0) 编辑

日志系统

摘要：作为Java程序员，我想很多人都知道日志对于一个程序的重要性，尤其是Web应用。很多时候，日志可能是我们了解应用程序如何执行的唯一方式。所以，日志在Java Web应用中至关重要，但是，很多人却以为日志输出只是一件简单的事情，所以会经常忽略和日志相关的问题。在接下来的几篇文章中，我会来介绍介绍这个容阅读全文

posted @ 2013-01-20 15:46 duanxz 阅读(439) 评论(0) 推荐(0) 编辑

Log4j2详细介绍

摘要：一、log4j、logback、log4j2介绍 log4j是apache实现的一个开源日志组件 logback同样是由log4j的作者设计完成的，拥有更好的特性，用来取代log4j的一个日志框架，是slf4j的原生实现 Log4j2是log4j 1.x和logback的改进版，据说采用了一些新技术阅读全文

posted @ 2013-01-18 16:00 duanxz 阅读(2105) 评论(0) 推荐(0) 编辑

Logback的配置说明

摘要：根节点<configuration>包含的属性 scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。 scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。阅读全文

posted @ 2013-01-18 10:56 duanxz 阅读(1733) 评论(1) 推荐(0) 编辑

Log4j2的性能为什么这么好？

摘要：正文开始：一、logback和log4j2压测比较 1、logback压测数据logback压测数据，50个线程，500万条日志写入时间。说明：这个是logback日志的压测数据，在开发机（双核四线程），高配开发机（四核八线程）和服务器（32核）压测的效率都差不多，而且线程开多的时候，性能反而阅读全文

posted @ 2013-01-15 15:53 duanxz 阅读(948) 评论(1) 推荐(0) 编辑

昵称： duanxz
园龄： 13年11个月
粉丝： 2430
关注： 22

+加关注

2025年3月

日

一

二

三

四

五

六

随笔分类 - log

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论