logstash自己的日志保存到文件中:log4j2.properties
status = error dest = err name = PropertiesConfig property.filename = /gwlog/data/logstash/logs appender.rolling.type = RollingFile appender.rolling.name = RollingFile appender.rolling.fileName = ${filename}/logstash.log appender.rolling.filePattern = ${filename}/logstash-%d{yyyy-MM-dd}-%i.log.gz appender.rolling.layout.type = PatternLayout appender.rolling.layout.pattern = %d %p %C{1.} [%t] %m%n appender.rolling.policies.type = Policies appender.rolling.policies.time.type = TimeBasedTriggeringPolicy appender.rolling.policies.time.interval = 1 appender.rolling.policies.time.modulate = true appender.rolling.policies.size.type = SizeBasedTriggeringPolicy appender.rolling.policies.size.size=50MB appender.rolling.strategy.type = DefaultRolloverStrategy appender.rolling.strategy.max = 5 appender.console.type = Console appender.console.name = plain_console appender.console.layout.type = PatternLayout appender.console.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %m%n appender.json_console.type = Console appender.json_console.name = json_console appender.json_console.layout.type = JSONLayout appender.json_console.layout.compact = true appender.json_console.layout.eventEol = true rootLogger.level = debug rootLogger.appenderRef.rolling.ref = RollingFile rootLogger.appenderRef.console.ref = ${sys:ls.log.format}_console
效果图:到了50M就压缩,压缩到了5M多,最多保留5个压缩包,再有就丢弃旧的压缩包
0)查看当前logstash安装了哪些插件 ./logstash-plugin list
1)若logstash没有权限访问某个文件,需要给logstash加到文件所属组或修改文件权限,下面举个修改logstash所属组的例子
这个例子有点问题,修改所属组时,最好加上-a
用usermod 命令可把某用户添加进多个附属组,默认情况下,一次性添加多个附属组可用以下方式来添加:
usermod -G 附属组1,附属组2,...,附属组X 用户名
但在添加之后若再对该用户添加另外附属组时,使用
usermod -G 附属组名 用户名
会把该用户的附属组覆盖为“附属组名”。此时,可在usermod 命令中添加一个参数 -a 即可。
usermod -a -G 附属组名 用户名
2)使用filter插件中的grok插件,格式化apache日志
4)如果你的时间字段可能有多个格式,则可指定多个可能的日期格式:match => [ "timestamp", "MMM dd YYY HH:mm:ss", "MMM d YYY HH:mm:ss", "ISO8601" ]
5)备注:@timestamp 比我们晚了 8 个小时,在kibana显示也是如此。如何能让日志收集时间能和@timestamp一致呢?在date插件中添加如下字段:timezone =>"Asia/Chongqing"
6)若正则表达式匹配失败,logstash会给tag添加要给叫"_grokparsefailure"的tag
7)http://blog.sina.com.cn/s/blog_829a682d0101mkwu.html
8)字段引用
9)sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos。
10)你可以随意给事件添加字段或者从事件里删除字段
posted on 2017-10-19 15:28 我和你并没有不同 阅读(13299) 评论(0) 编辑 收藏 举报
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· 2 本地部署DeepSeek模型构建本地知识库+联网搜索详细步骤